上周有个做电力负荷预测的朋友问我现在做时间序列预测还要不要学 LSTM还是直接学 Transformer 就行这个问题在评论区见过很多次B站上关于这两个模型的时间序列预测视频也经常有几十万播放。但看下来发现一个普遍现象视频要么只讲 LSTM要么只讲 Transformer很少有人把两份论文放在一起精读再用同一份数据复现对比。我的看法很直接这两个模型不是“新的取代旧的”的关系而是两种完全不同的序列建模思路。LSTM 靠门控机制一步步传递记忆Transformer 靠注意力机制一步到位看全局。放在时间序列预测这个场景里它们各有不可替代的位置。这篇文章会按照“先解决为什么 → 再理解机制 → 再上手复现 → 再处理实战问题 → 最后沉淀方法”的顺序展开。尽量做到论文精读、代码复现、工程落地三件事都不落下。1. 为什么 LSTM 和 Transformer 总被放在一起比较1.1 它们要回答的其实是同一个问题不管模型叫什么名字时间序列预测的核心问题是一样的给定过去一段时间的观测值估计未来一个或者多个时刻的值。比如你要预测明天零点的电力负荷能用到的信息是过去 24 小时甚至 7 天的负荷曲线你要预测某只股票明天的收盘价输入是过去若干天的开盘价、收盘价、成交量。模型要做的就是从历史序列中提取出对预测有帮助的信息并且把它们映射到未来。LSTM 和 Transformer 恰好都擅长做这件事但提取信息的方式完全不同。理解这个“不同”比记住模型结构重要得多。LSTM 的全称是 Long Short-Term Memory直译过来是“长短期记忆网络”。名字暴露了设计初衷既要记住长期依赖又要避免被短期噪声干扰。它通过在循环单元里加入门控机制让信息可以选择性通过从而解决传统 RNN 在长序列上的梯度消失问题。Transformer 最初来自 2017 年的论文《Attention Is All You Need》它一开始是为了机器翻译设计的。但后来人们发现它的核心机制——自注意力——在处理任意长度的依赖关系上非常有优势于是被迅速迁移到 NLP、视觉、语音时间序列预测只是其中一个应用场景。所以这两个模型本质上都在做同一件事从历史序列中找到有用的模式。只是找到模式的方式一个像“顺着时间一步步回忆”另一个像“跳到任意时间点直接检索”。1.2 LSTM 的解决方案让记忆跟着时间走LSTM 的关键结构是三个门控遗忘门、输入门、输出门。你可以把它们理解成一个装了闸门的大坝。遗忘门决定旧的细胞状态里有多少信息需要丢弃输入门决定当前时刻的新信息有多少需要写入记忆输出门决定当前时刻应该输出多少信息给下一层。这个机制让 LSTM 可以在很长的时间跨度里保持关键信息同时把无关信息清理掉。一个更直观的类比是连载小说。你从第一章读到第二十章LSTM 每读一章都会更新一次“故事主线摘要”。读到新章节时它会先判断旧摘要里哪些线索还有用、哪些已经完结再把新章节里的关键信息融合进去。这个“摘要”就是细胞状态它会跟着时间一步步传递下去。这个设计有一个天然特性LSTM 是有顺序感的。它必须按照时间顺序一个时刻一个时刻地读完整个序列。后一个时间步的隐状态依赖前一个时间步的输出。这也是它在长序列上训练慢的原因——每一步都不能并行。1.3 Transformer 的解决方案跳过时间直接看全局Transformer 没有循环结构它用自注意力机制替代了循环。自注意力的核心操作是查询、键、值三元组可以理解成一个信息检索过程。假设输入序列有 100 个时刻每个时刻都有一个特征向量。Transformer 会计算任意两个时刻之间的关联程度当前时刻作为查询去问整个序列里所有时刻“你们谁对我的预测有用”然后按照对应的权重把所有时刻的值加权汇总。这就是 Transformer 最大的特点任意两个位置可以直接建立关联不需要经过中间一堆时间步的传递。在长序列上这个能力非常关键。LSTM 的信息传递链路再长梯度还是会衰减而 Transformer 一步就能抓住远距离的周期性模式。代价是失去天然的顺序感。Transformer 本身不关心哪个时刻在前、哪个在后所以必须额外给输入加上位置编码。这是一件很有意思的事LSTM 的顺序感是结构自带的Transformer 的顺序感是人为注入的。1.4 放在一起比较的真实意义优势互补经常看到一种论调Transformer 更强所以 LSTM 该淘汰了。这个说法在工程实践里站不住脚。LSTM 参数少训练快在小样本和短序列上往往表现稳定。Transformer 并行训练效率高长序列建模能力强但数据量不足时很容易过拟合。在很多实际系统里两个模型甚至会配合使用先用 LSTM 提取短期局部特征再把这些特征送入 Transformer 建模长期依赖。所以这篇文章不是要告诉你“哪个模型一定更好”而是要帮你建立一套判断标准什么场景下 LSTM 更合适什么场景下 Transformer 更合适以及如何用同一套实验流程验证你的判断。我把它们放在一起比较是希望你看清楚二者真正的机制差异而不是停留在“谁的准确率更高”这种表层对比上。2. 从数据流理解两个模型而不是硬背结构图2.1 模型把时间序列预测当成什么任务为了把问题说清楚我们先用最简单的点预测来定义输入输出。假设我们要预测下一个时刻的值给定的输入形状是批次大小batch序列长度seq_len比如过去 24 小时每个时刻的特征维度input_size比如 1只用电负荷输入张量形状就是 (batch, seq_len, input_size)。模型要做的是输出一个预测值形状通常是 (batch, 1)。这两个模型内部结构差异很大但对外接口非常相似。LSTM 读完整序列后取最后一个时间步的隐状态再接一个全连接层输出预测值。Transformer 看到完整序列后取最后一个位置的输出向量再接一个全连接层输出预测值。正是因为对外接口一致它们才适合放在同一个对比框架里。2.2 LSTM 的数据流记忆一步步往前走LSTM 内部维护着一个细胞状态cell state和隐状态hidden state。输入序列一步步被读入每一步都会更新这两个状态。以预测下一个时刻为例模型从 t0 开始把第一个时刻的特征向量和初始状态一起送入 LSTM 单元得到一个更新后的状态然后把第二个时刻的特征向量和这个状态一起送入得到下一轮状态。如此反复直到读完整个序列。循环结束后LSTM 的隐状态可以理解为“整个序列经过门控筛选后的压缩摘要”。预测值就是从这个摘要里映射出来的。所以代码里通常这样写模型输出所有时间步的隐状态但我们只取最后一个时间步的输出再接全连接层。这也是很多人复现时容易忽略的点如果你的任务是点预测取最后一个时间步就够了但如果你要预测未来多个时刻或者要做序列标注类任务取哪个时间步的输出、怎么组合就会变成模型设计的一部分。2.3 Transformer 的数据流一步一步建立全局关联Transformer 没有隐状态的逐步更新。它的输入是一整个序列的向量矩阵模型一次性处理所有时间步。第一步把每个时刻的特征向量通过一个线性层映射到更高维的模型空间得到 (batch, seq_len, d_model)。第二步给每个位置加上位置编码。第三步把加完位置编码的序列送入多层的 Transformer Encoder。Encoder 每一层做的事情是先让序列内部做一次自注意力计算得到每个位置对其它位置的信息汇总然后经过前馈网络做进一步的特征变换。多层堆叠后每个位置的输出向量都携带了注意力机制聚合得到的全局信息。最终取最后一个位置的输出向量接全连接层输出预测值。这里有一个容易被忽略的点Transformer 取“最后一个位置”的输出和 LSTM 取“最后一个时刻”的隐状态含义完全不同。LSTM 的最后一个时刻是“读完整个序列后的总结”Transformer 的最后一个位置只是“序列最后一个时间点的表示”但它已经通过注意力看到了序列里的所有其它位置。2.4 位置编码Transformer 的“顺序感”从哪来Transformer 并行计算所有位置本身没有先后概念。为了把顺序信息带进去必须在输入侧添加位置编码。论文《Attention Is All You Need》里用的是固定的三角函数位置编码不同位置对应不同频率的正弦余弦向量。这样模型可以通过向量之间的相对位置关系判断时间的先后。工程实现里很多人直接用可学习的位置编码也就是初始化一组随机向量让模型在训练过程中自己调整。两种方式在时间序列预测任务上都能用但要注意如果序列长度在训练和预测时不一致固定的三角函数编码对长度更友好可学习编码则更依赖训练时见过的长度范围。对时间序列预测来说位置编码其实是一个值得多想想的设计点。它不是简单的“给序列排序”而是告诉模型“哪一个时刻更近哪一个时刻更远”。在很多数据集里近期信息的重要性往往高于远期信息注意力机制能不能学到这种“近大远小”的权重会直接影响预测效果。3. 代码复现用一份数据把两个模型跑通3.1 环境准备与版本确认我默认用 PyTorch 复现因为它对 LSTM 和 Transformer 的原生支持都很好代码量最少。Python 建议 3.9 及以上PyTorch 建议 2.x。如果你用的是 1.x 老版本个别 API 可能略有差异比如 TransformerEncoderLayer 的 batch_first 参数需要确认版本是否支持。依赖就三个numpy、torch、matplotlib。如果要用归一化建议直接引入 scikit-learn 的 MinMaxScaler。pip install numpy torch matplotlib scikit-learn这里特别提醒一点先确认你的 PyTorch 版本再去跑 Transformer 相关代码。不同版本之间的默认参数有差异盲跑很容易踩坑。3.2 构造一个可复现的模拟数据集复现模型的第一步是先有一个数据。我建议用一个带正弦周期加噪声的模拟数据作为起点。原因很简单真实数据集通常不知道答案模拟数据的答案就是正弦曲线你一眼就能看出模型是否学到有用模式。下面这段代码会生成 2000 个时间点每个点等于正弦值加一点随机噪声然后按滑动窗口切成样本。import numpy as np import torch from torch.utils.data import DataLoader, TensorDataset from sklearn.preprocessing import MinMaxScaler def make_synthetic_data(length2000, seq_len24, noise0.05): t np.linspace(0, 50, length) data np.sin(t) np.random.randn(length) * noise scaler MinMaxScaler(feature_range(-1, 1)) data scaler.fit_transform(data.reshape(-1, 1)).reshape(-1) X, Y [], [] for i in range(len(data) - seq_len): X.append(data[i:i seq_len]) Y.append(data[i seq_len]) X np.array(X).reshape(-1, seq_len, 1) Y np.array(Y).reshape(-1, 1) return X, Y, scaler X, Y, scaler make_synthetic_data(seq_len24) print(X.shape, Y.shape)输出形状是 (1976, 24, 1) 和 (1976, 1)。每个样本包含 24 个连续时间步的观测值预测下一个时刻的值。3.3 数据切分与 DataLoader时序数据不能随机打乱这一点必须单独立一条。图片分类里把数据集随机打乱没有语义问题但时间序列数据的顺序本身就是信息一旦随机打乱未来信息就会混进训练集等于变相数据泄漏。正确做法是按时间顺序切分。我一般按照 8:1:1 的比例切出训练集、验证集、测试集。train_size int(len(X) * 0.8) val_size int(len(X) * 0.1) X_train, Y_train X[:train_size], Y[:train_size] X_val, Y_val X[train_size:train_size val_size], Y[train_size:train_size val_size] X_test, Y_test X[train_size val_size:], Y[train_size val_size:] def make_loader(X, Y, batch_size64): dataset TensorDataset( torch.tensor(X, dtypetorch.float32), torch.tensor(Y, dtypetorch.float32) ) return DataLoader(dataset, batch_sizebatch_size, shuffleFalse) train_loader make_loader(X_train, Y_train) val_loader make_loader(X_val, Y_val) test_loader make_loader(X_test, Y_test)注意 DataLoader 里的 shuffleFalse这不是偷懒而是必须。3.4 LSTM 最小实现看结构和数据流如何对应下面是最小可运行的 LSTM 预测模型。结构只有两层LSTM 层和全连接层。import torch.nn as nn class LSTMPredictor(nn.Module): def __init__(self, input_size1, hidden_size64, num_layers1, output_size1): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue ) self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # x shape: (batch, seq_len, input_size) out, _ self.lstm(x) # out shape: (batch, seq_len, hidden_size) last_out out[:, -1, :] # last_out shape: (batch, hidden_size) return self.fc(last_out)这里有两个要点。第一batch_firstTrue 决定输入维度的排列顺序。设成 True 后输入形状是 (batch, seq_len, feature)更符合直觉。不设的话PyTorch 默认要求 (seq_len, batch, feature)忘记改这个参数是新手常见报错来源。第二out[:, -1, :]取最后一个时间步的输出。LSTM 返回的 out 包含所有时间步的隐状态但要预测下一个时刻只需要最后一个时间步的压缩摘要。如果你想加一点防止过拟合的手段可以在 LSTM 和全连接之间加一个 Dropout比如self.dropout nn.Dropout(0.2)前向传播时last_out self.dropout(last_out)。3.5 Transformer 最小实现Encoder 加线性输出Transformer 的复现版可以有很多种这里我用最常用的 Encoder-only 结构。输入经过线性层映射到 d_model加位置编码送入 TransformerEncoder取最后一个位置的输出做预测。import torch.nn as nn class TransformerPredictor(nn.Module): def __init__(self, input_size1, d_model64, nhead4, num_layers2, dim_feedforward128, output_size1, max_len1000): super().__init__() self.input_proj nn.Linear(input_size, d_model) self.positional_encoding nn.Parameter(torch.randn(1, max_len, d_model) * 0.02) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforwarddim_feedforward, batch_firstTrue, dropout0.1 ) self.encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) self.fc nn.Linear(d_model, output_size) def forward(self, x): # x shape: (batch, seq_len, input_size) seq_len x.size(1) h self.input_proj(x) h h self.positional_encoding[:, :seq_len, :] h self.encoder(h) last_out h[:, -1, :] return self.fc(last_out)这个实现里有几个细节需要解释。第一个是位置编码。这里我用了可学习参数初始化为很小的随机值。使用的时候要注意max_len 必须大于等于数据里的序列长度否则会索引越界。第二个是batch_firstTrue。新版 PyTorch 的 TransformerEncoderLayer 支持这个参数它能让输入输出形状统一为 (batch, seq_len, d_model)。第三个是为什么输出只取h[:, -1, :]。在 Encoder 输出里每个位置的向量都已经通过注意力机制“看到了”整个序列所以最后一个位置的向量可以当作整条序列的语义汇总。你也可以把所有位置向量做全局平均池化在某些任务上效果不同但结构上更复杂。这里需要提醒一句为了让代码尽可能简单我用了两个 Transformer Encoder 层、4 个注意力头、维度 64。这个配置在模拟数据上通常够用但到了真实数据需要重新实验。不要把这个配置当作通用最优参数。3.6 训练与验证同一套流程跑两个模型训练流程对两个模型完全一致。用 MSE 作为损失函数Adam 作为优化器训练 50 个 epoch。MSE 是回归任务最常用的指标对误差大的预测惩罚更重因此数据归一化尤其重要。import torch.optim as optim def train_model(model, train_loader, val_loader, epochs50, lr1e-3): device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) optimizer optim.Adam(model.parameters(), lrlr) criterion nn.MSELoss() train_losses, val_losses [], [] for epoch in range(epochs): model.train() total_loss 0.0 for xb, yb in train_loader: xb, yb xb.to(device), yb.to(device) optimizer.zero_grad() pred model(xb) loss criterion(pred, yb) loss.backward() optimizer.step() total_loss loss.item() * xb.size(0) avg_train_loss total_loss / len(train_loader.dataset) model.eval() val_loss 0.0 with torch.no_grad(): for xb, yb in val_loader: xb, yb xb.to(device), yb.to(device) pred model(xb) val_loss criterion(pred, yb).item() * xb.size(0) avg_val_loss val_loss / len(val_loader.dataset) train_losses.append(avg_train_loss) val_losses.append(avg_val_loss) if (epoch 1) % 10 0: print(fEpoch {epoch1:3d} | Train Loss {avg_train_loss:.6f} | Val Loss {avg_val_loss:.6f}) return train_losses, val_losses lstm_model LSTMPredictor() lstm_train_loss, lstm_val_loss train_model(lstm_model, train_loader, val_loader, epochs50) transformer_model TransformerPredictor() transformer_train_loss, transformer_val_loss train_model( transformer_model, train_loader, val_loader, epochs50 )训练结束后用测试集计算评价指标并画出预测曲线。这里注意画曲线时要先把预测结果反归一化回原始尺度不然看到的值都在 -1 到 1 之间不够直观。import matplotlib.pyplot as plt def plot_prediction(model, X_test, Y_test, scaler, seq_len24): device torch.device(cuda if torch.cuda.is_available() else cpu) model.eval() X_tensor torch.tensor(X_test, dtypetorch.float32).to(device) with torch.no_grad(): pred model(X_tensor).cpu().numpy() pred_inv scaler.inverse_transform(pred) y_inv scaler.inverse_transform(Y_test) plt.figure(figsize(12, 4)) plt.plot(y_inv[:200], labelTrue, colorblack) plt.plot(pred_inv[:200], labelPred, colorred, linestyle--) plt.legend() plt.show()注意第一次跑通之后不要急着换模型结构。先确认训练 loss 能下降、验证 loss 没有明显高涨、预测曲线在形态上和真实曲线大致重合。如果这三件事都成立再开始调参。4. 单步预测 vs 多步预测差别不在模型在预测机制4.1 单步预测是最可靠的评估起点前面的代码做的是单步预测输入 24 个历史时间步预测下一个时间步。单步预测的误差通常不会被放大因为它只要求模型做一次推理。实际使用中单步预测适合那些实时性要求高、每来一个新数据就滚动更新的场景比如智能运维里的异常预警、工业设备的下一时刻状态估计。评价指标一般用 MSE、MAE也可以计算 R²。但很多业务需求不是预测下一个点而是预测未来 12 小时或者未来 7 天。这时候就需要多步预测。4.2 多步预测的两种常见策略第一种是自回归迭代策略。用模型预测出下一个值后把这个预测值当作已知输入继续预测下下一个值如此循环。实现很简单但误差会随着迭代步数累积预测越远越不可靠。def multi_step_predict(model, init_seq, steps, scaler, device): model.eval() seq init_seq.clone().float().to(device) preds [] with torch.no_grad(): for _ in range(steps): # seq shape: (1, seq_len, 1) y_pred model(seq) preds.append(y_pred.item()) # 把预测值加入序列尾部同时丢掉最老的一个时刻 new_value y_pred.view(1, 1, 1) seq torch.cat([seq[:, 1:, :], new_value], dim1) return np.array(preds).reshape(-1, 1)第二种是直接多步输出策略。模型一次输出未来多个时刻的值比如输出形状从 (batch, 1) 变成 (batch, future_steps)。实现上只需要把最后的全连接层输出维度改成 future_steps但代价是模型要学习的映射关系更复杂训练难度增加。Transformer 在这种模式下比较自然因为它的输出端天然支持多 tokenLSTM 也可以做但需要多组织一下输出层的结构。4.3 为什么预测机制的选择比选模型更重要这是很多人复现论文时忽略掉的一点。对比两个模型时如果预测机制不同结果差异可能来自机制而不是模型本身。比如有人说“Transformer 在多步预测上比 LSTM 好”很可能是 Transformer 用了直接多步输出而 LSTM 用了迭代预测误差累积让 LSTM 显得吃亏。反过来也一样如果让 LSTM 也做直接多步输出差距可能会明显缩小。所以正确的实验习惯是对比时固定预测机制。要么都用单步预测要么都用自回归迭代要么都做直接多步输出。只在模型结构这一个变量上做区分。建议新手先把单步预测跑通再尝试多步预测。直接上多步预测一旦结果不好很难判断是模型问题还是策略问题。5. 真正决定模型表现的常常不是模型本身5.1 数据预处理归一化和窗口大小在时间序列预测里数据预处理对结果的影响往往比模型结构更大。最常见的两个坑是归一化和窗口大小。时间序列数据通常需要归一化。MinMaxScaler 会把数据缩放到固定区间比如 [-1, 1]对正弦数据很好用Z-score 标准化会把数据变成均值 0、方差 1对异常值更稳健。具体选哪个要看数据分布和评价指标。有一个关键细节归一化只能在训练集上完成然后用同样的 scaler 变换验证集和测试集。不能先把整个数据集合并再统一求均值方差那样会把未来信息泄漏到训练过程里。窗口大小的选择也很需要实验。窗口太小模型看不到完整的周期窗口太大会引入大量噪声训练时间也变长。我一般会先试 24、48、96 三档对比验证集 loss 后选择最合适的。5.2 训练策略学习率、早停和随机种子训练策略里最影响结果的是学习率。LSTM 和 Transformer 的最佳学习率很可能不同。我的习惯是先固定学习率 1e-3如果 loss 震荡就降到 3e-4 或 1e-4。Transformer 对学习率更敏感。它内部的 LayerNorm、注意力权重的初始化方式会让它在学习率偏大时出现 loss 不下降甚至发散的情况。如果遇到这种情况不要急着换模型先降低学习率。早停也是一个必要机制。在验证集上监控 loss如果连续多个 epoch 没有下降就停止训练并恢复最佳模型权重。这能避免过拟合也能节省时间。还有一个事情虽然枯燥但很重要固定随机种子。只要你用到了随机初始化、Dropout、数据采样每次运行结果就可能不一样。复现实验和对比实验都要先固定随机种子否则你很难判断结果差异是来自模型改动还是随机波动。import random def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) set_seed(42)5.3 最容易踩的坑数据泄漏和乱序切分除了前面提到的随机打乱问题还有一类数据泄漏比较隐蔽。有些数据集本身带有统计特征比如平均值、最大值如果你在特征工程时用了全量数据计算统计量再切分训练集和测试集测试集的信息就已经混进训练过程了。另一个常见问题是特征里包含了未来信息。比如你要用 t 时刻的数据预测 t1 时刻但某个特征本身是用 t1 时刻的信息计算出来的。在金融数据里这特别常见比如“当日涨跌幅”如果用了收盘价那么在盘中预测时这个特征其实还没完成。遇到结构性问题时先检查三件事训练集和验证集是否按时间顺序切分。归一化统计量是否只来自训练集。特征构造是否使用了未来窗口的数据。这三项没问题再去看模型结构和参数。6. 排查链路从报错到效果差怎么一步步找原因6.1 按现象分四层排查模型效果不好不要直接归因于“模型不行”或者“数据不行”。我建议按四层顺序排查。第一层先看能不能跑通。报错信息里最常见的是张量维度不匹配。这时候不要猜直接打印每一步的张量 shape。LSTM 输入维度、Transformer 输入维度、最后全连接层的输入维度这三处最容易出错。第二层看训练集 loss 是否下降。如果训练集 loss 不动问题大概率出在学习率、归一化或模型结构。学习率太大容易发散太小会收敛极慢。如果数据没有归一化MSE 可能大得离谱导致梯度不稳定。第三层看验证集和训练集的差距。如果训练集 loss 很低但验证集很高是过拟合。优先尝试增加数据量、加 Dropout、减小模型规模、提前停止训练。第四层如果训练集和验证集 loss 都不高但预测曲线形态不对比如整体滞后一拍、波动幅度偏小这通常和任务设计有关。模型可能只学到了“用上一个值预测下一个值”而没有学到周期模式。这时候需要加大窗口、检查特征、调整多步策略。6.2 常见问题速查表现象可能的根因优先排查方向程序直接报错张量形状不匹配打印各层输入输出形状Loss 一直是 NaN学习率过大、数据里有 NaN 或 Inf降低学习率、检查数据清洗训练集 loss 不下降学习率不合适、未归一化调学习率、检查归一化验证集 loss 明显高于训练集过拟合早停、加 Dropout、减小模型预测曲线整体滞后一拍模型过度依赖上一时刻值增大窗口、检查特征构造预测结果近似一条直线输入信息不足、模型容量有限检查窗口周期、增加特征维度6.3 一套可复用的实验对比流程要确认两个模型在同一个问题上的差异我建议遵循下面这套流程它能帮你避免大量无效对比。第一步固定全局参数随机种子、归一化方式、窗口大小、训练轮数、学习率。第二步固定预测机制单步预测就都做单步多步预测就都做同一个策略。第三步在相同数据切分上训练两个模型记录训练时间、参数量、训练集 loss、验证集 loss、测试集 loss。第四步把预测曲线和真实曲线画在一起对比形态而不是只看 loss 数值。第五步对结果做差异归因。如果 LSTM 和 Transformer 的测试 loss 差得不多不要强行解释成某个模型更强如果差得很大检查数据切分、归一化、预测机制是否一致然后再归因到模型机制。7. 模型选型与适用边界7.1 更倾向 LSTM 的场景LSTM 在以下场景通常更友好序列长度在几百以内样本量不大计算资源有限或者你的目标更多是“稳定跑通”而不是“极限刷分”。LSTM 结构简单训练动态相对平稳超参数敏感度也比 Transformer 低。在短序列、小样本问题上LSTM 往往能更快收敛而且不容易过拟合。如果你在做一个快速验证或者基线模型用 LSTM 起步是很合理的选择。7.2 更倾向 Transformer 的场景Transformer 适合在以下场景体现优势序列很长单个样本包含大量时间步数据量足够大能够支持高容量模型训练或者你希望利用并行训练加速。如果在真实业务里有几千甚至上万时间步的序列并且希望模型能直接捕捉长距离依赖Transformer 的注意力机制更有优势。另外如果团队已经有成熟的 Transformer 训练和调参经验选择 Transformer 的维护成本会更低。7.3 不适用场景和注意事项如果数据本身随机性很强没有稳定的周期性或者趋势模式LSTM 和 Transformer 都很难做出有效预测。模型能做的只是捕捉历史模式如果历史里根本没有模式任何模型都不该被寄予过高期望。如果数据集很小比如只有几百条样本还硬要上尺寸较大的 Transformer大概率会过拟合。这时候可以先从 LSTM 或小型 Transformer 开始。另外要区分清楚“Transformer 架构”和“大语言模型”。时间序列预测里常用的 Transformer 通常只是几个 Encoder 层的小模型参数量从几万到几百万跟动辄几十亿参数的大语言模型完全是两回事。不要一想到 Transformer 就认为必须用大规模算力。8. 从论文精读走向自己的实验一个可复用框架8.1 三步读懂一篇模型论文论文精读不是从头到尾逐字翻译。我的方法是分三遍读。第一遍只看标题、摘要、图表和结论。回答三个问题论文做了什么效果比谁好核心创新点是什么这个过程应该在 10 分钟内完成。第二遍沿着数据流把公式翻译成张量形状。不管论文公式多复杂最后都能还原成“输入是什么形状、经过什么层、输出是什么形状”。逐个模块地确认直到你能画出完整的数据流图。第三遍只看实验设置和消融实验。重点看训练超参数、数据切分、评价指标以及哪些组件被证明不可或缺。这一遍的目的是为你的复现提供一份准确的“参数清单”。8.2 从论文到代码的翻译方法拿到一篇论文之后我一般按下面的顺序落实到代码。先找结构图把模型每个模块标出来然后从输入侧开始把论文里的每个模块对应到 PyTorch 组件Embedding 对应 nn.Linear循环单元对应 nn.LSTM注意力对应 nn.MultiheadAttention 或 nn.TransformerEncoderLayer。不要一上来就复现完整论文。先用最小配置跑通一个简化版比如单层 LSTM、单层 Transformer Encoder确认数据流没有问题再去还原论文里的层数、隐藏维度、注意力头数。超参数先用论文给出的默认值作为起点而不是盲调。很多论文会在附录里给出完整训练配置这是最值得先看的资源。8.3 长期复现代码的正确方式代码复现不是一次性的。要让它成为长期可用的资产需要一些工程习惯。第一使用配置管理把超参数、数据路径、模型结构写在配置文件里而不是散落在代码中。第二每次实验记录指标和备注对比实验结果时没有记录就等于没有发生。第三用版本管理工具管理代码不要用注释代码来保留旧版本否则代码会越来越难读。第四固定数据版本数据和代码一样需要版本管理否则换了新数据后之前的实验结果可能无法复现。还有一个经常被忽略的点复现不是终点。论文里的数据集和你的业务数据分布不同照搬参数不一定有用。复现的真正价值是帮你建立起对模型机制的理解让你在自己的数据上能更快地调整、验证和做决策。回到开头那个问题LSTM 和 Transformer 到底学哪个我的答案是两个都要了解但不是为了“跟上热点”而是为了在具体场景里能做出更准确的判断。时间序列预测没有银弹模型有的只是不同建模思路和各自适用边界。能根据数据形态、任务需求、算力约束做出合理选择并且能通过实验验证你的选择这才是真正值得修炼的能力。