1. 项目概述：从数学建模竞赛到电商实战的跨越

去年带队参加MathorCup（妈妈杯）B题的经历，让我对“电商零售商家需求预测”这个看似竞赛的题目，有了更深一层的实战体会。题目给了一堆某电商平台的历史销售数据，要求我们构建模型预测未来一段时间内不同商品的需求量。这听起来完全是标准的时间序列预测问题，对吧？但真正做起来，你会发现它远不止是调个ARIMA或者LSTM那么简单。它本质上是一个披着竞赛外衣的、高度贴近真实电商运营场景的综合性问题。参赛者不仅要和数学公式、算法模型打交道，更要理解零售业务的内在逻辑，比如促销活动的影响、季节性波动、甚至库存策略的约束。最终，我们团队凭借一套融合了业务理解的建模方案拿到了不错的奖项，而这段经历带给我的最大收获是：一个优秀的预测模型，其价值一半在算法，另一半在对业务问题的深刻洞察与转化。今天，我就把这套从赛题到实战的完整思路、核心技术与避坑经验拆解开来，无论你是正在备战数学建模竞赛的学生，还是初入电商数据分析领域的从业者，相信都能从中找到可直接复用的“干货”。

2. 赛题核心与业务本质的双重解读

2.1 竞赛命题的“表面”与“内核”

2023年MathorCup B题的官方描述是典型的数学建模风格：提供历史销售数据，要求预测未来需求。数据通常包含时间戳、商品ID、销售量、是否有促销活动等字段。从竞赛角度，评委期待看到清晰的问题分析、模型建立、求解与验证的全过程。你的论文需要展示如何将现实问题抽象为数学问题，例如，将“需求预测”定义为时间序列的回归预测任务。

然而，它的“内核”是一个真实的电商业务问题。商家进行需求预测的根本目的，是为了优化库存、降低缺货损失与仓储成本、指导采购与促销策略。因此，一个仅在测试集上RMSE（均方根误差）很低的模型，未必是好模型。如果模型无法识别促销带来的脉冲式增长，导致预测偏低而缺货，其业务损失远大于预测平稳期误差稍大带来的影响。同样，如果模型对新品（历史数据少）或滞销品预测不准，也会造成库存积压。所以，解题时必须建立业务目标导向的思维，评估指标不能只看统计误差，还需考虑业务约束（如安全库存水平）。

2.2 需求预测在电商中的关键作用

在电商运营中，精准的需求预测是供应链管理的“大脑”。它的价值具体体现在：

1. 库存优化：这是最直接的价值。预测未来N天的需求量，结合采购提前期和当前库存，就能计算出建议采购量，实现库存周转率与服务水平的最佳平衡。
2. 成本控制：避免因预测过高导致的库存积压（占用资金、产生仓储费），也避免因预测过低导致的缺货（损失销售额、降低客户满意度）。
3. 运营决策支持：预测结果可以指导促销活动的排期和力度。例如，预测到某商品未来需求走低，可以提前策划促销来清理库存；预测到旺季来临，则可以提前备货，甚至调整定价策略。
4. 资源调配：对于平台或大型商家，预测可以指导仓储、物流、客服等资源的预先配置。

理解这些业务价值，才能在特征工程、模型选择和结果评估阶段做出更明智的决策。例如，你可能会更关注模型在销量波峰（如大促期间）的预测能力，而适当放宽对平稳期预测精度的要求。

3. 数据预处理：比模型更重要的基石

拿到竞赛或业务数据，切忌直接丢进模型。混乱的数据只会得到混乱的结果。预处理阶段决定了模型效果的上限。

3.1 数据清洗与异常值处理

电商销售数据常有的“坑”包括：

• 缺失值：某些天可能无销售记录。这不一定代表销量为0，可能是缺数。需要结合业务判断：对于普通商品，连续多天无销售可能是滞销或下架；对于促销商品，促销日无数据则极可能是数据缺失。处理方法上，对于短期缺失，可采用前后插值或简单移动平均填充；对于长期缺失且无业务意义的商品，可以考虑从训练集中剔除。
• 异常值：通常指远超正常范围的销量尖峰。不能简单删除！首先要区分这是“噪声”还是“信号”。
  • 业务信号：如“双十一”、超头部主播带货带来的巨量订单。这些是真实的业务现象，模型必须学会捕捉。处理方式是为其打上“大促”标签作为特征，或者使用鲁棒性更强的模型（如分位数回归、树模型）。
  • 数据噪声：如系统错误导致的重复记录、退货冲销异常。这类需要修正或剔除。一个实用的方法是使用箱线图或3σ原则结合业务常识进行甄别。
• 数据一致性：检查价格、销量单位是否统一。例如，销量数据是否被无意中放大（如录入时以“件”为单位，但实际是“箱”）。

实操心得：处理异常值时，我习惯创建一个“异常类型”字段。明确标注每条异常记录是“大促”、“直播带货”、“数据错误”还是“其他”。这个字段本身就可以作为一个强有力的特征输入模型，告诉模型：“这种情况是特殊的，请特殊对待。”

3.2 特征工程：构建模型理解的“语言”

特征工程是将原始数据转化为模型能更好理解的信息的过程。对于时间序列预测，特征可以分为以下几类：

1. 时间特征：

   • 基础周期：年、月、日、季度、周几（周末效应）、是否节假日、是否月初/月末。
   • 电商特色：是否促销日（如618、双11）、是否会员日、是否节假日前后。
   • 衍生特征：距离最近一次大促的天数、是否处于促销预热期。

2. 滞后特征： 这是时间序列预测的核心。即用过去的值预测未来。例如，用前1天、前7天（上周同天）、前30天的销量作为特征。对于周期性强的数据，lag=7的特征往往非常重要。

3. 滚动统计特征： 计算过去一个时间窗口的统计量，反映近期趋势。

   • 过去7天平均销量
   • 过去7天销量标准差（反映波动性）
   • 过去7天销量最大值/最小值
   • 过去7天销量环比增长率

4. 商品/类别特征：

   • 静态属性：商品品类、品牌、价格段、上架时长。
   • 动态属性：商品近30天销量排名、商品收藏量/加购量变化率（如果有这部分数据）。

5. 外部特征（如果数据允许）：

   • 天气数据（特别是对服装、生鲜等品类）
   • 宏观经济指数或行业搜索指数
   • 竞争对手促销信息

# 特征工程示例代码片段（Python pandas） import pandas as pd import numpy as np # 假设df包含‘date’，‘sales’，‘is_promotion’等列 df['date'] = pd.to_datetime(df['date']) df = df.sort_values('date').reset_index(drop=True) # 1. 时间特征 df['year'] = df['date'].dt.year df['month'] = df['date'].dt.month df['day_of_week'] = df['date'].dt.dayofweek # 周一=0 df['is_weekend'] = df['day_of_week'].isin([5,6]).astype(int) df['day_of_month'] = df['date'].dt.day # 2. 滞后特征 df['lag_1'] = df.groupby('product_id')['sales'].shift(1) # 前一天销量 df['lag_7'] = df.groupby('product_id')['sales'].shift(7) # 上周同天销量 # 3. 滚动统计特征 df['rolling_mean_7'] = df.groupby('product_id')['sales'].transform(lambda x: x.shift(1).rolling(7, min_periods=1).mean()) df['rolling_std_7'] = df.groupby('product_id')['sales'].transform(lambda x: x.shift(1).rolling(7, min_periods=1).std()) # 4. 处理缺失值（滞后特征引入的NaN） # 对于滞后期初的缺失，可以用全局均值或同类商品均值填充，但需谨慎 df.fillna(method='bfill', inplace=True) # 或使用其他策略

注意事项：构建滞后和滚动特征时，必须严格避免数据泄露。即，在预测第t天的值时，只能使用t-1天及之前的信息。上面代码中的.shift(1)和.transform(lambda x: x.shift(1).rolling(...))是关键，确保用于计算特征的数据不包含未来信息。

4. 预测模型选型与实战应用

模型没有绝对的好坏，只有是否适合。对于电商需求预测，我通常采用“从简到繁，分层预测”的策略。

4.1 经典时间序列模型：ARIMA与Prophet

ARIMA：适用于具有明显自相关性的、相对平稳的单变量序列。对于没有强烈外部因素（如突发促销）的常规商品，ARIMA可能表现稳定且可解释性强。

• 优点：理论成熟，参数有统计意义，适合做基准模型。
• 缺点：对多变量特征支持弱，难以捕捉复杂的非线性关系和外生冲击（如大促）。
• 实操要点：需要先进行平稳性检验（ADF检验），并通过差分消除趋势和季节性。(p,d,q)参数的确定可以通过观察自相关图（ACF）和偏自相关图（PACF），或使用auto_arima进行网格搜索。

Prophet：由Facebook开源，专门为商业时间序列设计。它内置了对趋势、季节性和节假日的处理。

• 优点：对缺失值和异常值鲁棒性强，自带节假日效应建模，开箱即用，结果可解释。
• 缺点：本质上是一个可加性模型，对于存在复杂交互效应或乘法季节性（波动幅度随趋势增大）的数据可能效果不佳。
• 实操要点：将“促销日”作为自定义的“假日”事件输入模型，效果显著。Prophet对历史数据量要求不高，适合新品或数据量少的商品。

4.2 机器学习模型：LightGBM/XGBoost

这是当前业界在表格数据预测任务上的主流选择，在数学建模竞赛中也极具竞争力。

• 优点：
  1. 能天然处理各种数值和类别特征，无需像ARIMA那样要求严格的数据平稳性。
  2. 能够捕捉特征间复杂的非线性关系和交互作用。
  3. 训练速度快，支持大规模数据。
  4. 通过特征重要性输出，可以反推哪些因素对销量影响最大，具有业务解释价值。
• 缺点：模型本身是“黑箱”，对时间序列的长期依赖关系捕捉能力不如循环神经网络（RNN），且需要精心设计时序特征（如滞后、滚动特征）。
• 关键参数：
  • num_leaves: 控制树复杂度，值越大模型越复杂，易过拟合。
  • learning_rate和n_estimators: 需要搭配调整，小学习率配合多树通常更稳健。
  • max_depth: 限制树深度，防止过拟合。
  • subsample/colsample_bytree: 行/列采样，增加模型随机性，提升泛化能力。

# LightGBM用于时序预测的简单示例 import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import mean_squared_error # 假设X是特征矩阵，y是目标销量，数据已按时间排序 tscv = TimeSeriesSplit(n_splits=5) # 时间序列交叉验证 params = { 'objective': 'regression', 'metric': 'rmse', 'boosting_type': 'gbdt', 'num_leaves': 31, 'learning_rate': 0.05, 'feature_fraction': 0.9, 'bagging_fraction': 0.8, 'bagging_freq': 5, 'verbose': -1 } models = [] for train_idx, val_idx in tscv.split(X): X_train, X_val = X.iloc[train_idx], X.iloc[val_idx] y_train, y_val = y.iloc[train_idx], y.iloc[val_idx] lgb_train = lgb.Dataset(X_train, y_train) lgb_eval = lgb.Dataset(X_val, y_val, reference=lgb_train) gbm = lgb.train(params, lgb_train, num_boost_round=1000, valid_sets=[lgb_train, lgb_eval], callbacks=[lgb.early_stopping(stopping_rounds=50), lgb.log_evaluation(period=100)]) models.append(gbm)

4.3 深度学习模型：LSTM

长短期记忆网络是处理序列数据的利器，特别适合捕捉长期依赖关系。

• 优点：能够自动学习时间序列中的动态模式，无需手动构建大量滞后和滚动特征。对于具有复杂长期周期性和趋势的数据有优势。
• 缺点：需要大量的数据训练，否则极易过拟合；训练速度慢，调参复杂；可解释性差。
• 适用场景：数据量足够大（至少数千条序列）、序列模式复杂且传统方法效果不佳时考虑。在MathorCup这类数据量有限的竞赛中，需谨慎使用，或与树模型结合（如用LSTM提取序列特征，再输入LightGBM）。

4.4 分层聚合与模型融合策略

电商商品数量庞大，且销量分布极度不均衡（少数爆款贡献大部分销量）。对所有商品使用同一套模型和参数是不现实的。我推荐分层预测策略：

1. 商品分层：根据历史销量、销售额或商品生命周期，将商品分为S/A/B/C等不同等级。

   • S级（爆款）：数据丰富，波动可能也大。投入最复杂的模型（如LightGBM+特征工程），进行单品预测。
   • A/B级（常销品）：可以按品类或聚类分组，进行品类级别的预测，再根据商品历史占比分配到单品。
   • C级（长尾新品/滞销品）：数据稀少。可采用简单模型（如历史均值、Prophet）、同类品类比法或直接使用品类预测结果。

2. 模型融合：

   • 简单平均/加权平均：将ARIMA、LightGBM、Prophet等不同模型的预测结果进行加权平均。权重可以根据各模型在验证集上的表现（如RMSE的倒数）来确定。
   • Stacking：将多个基模型（第一层）的预测结果作为新的特征，训练一个元模型（第二层，通常是简单的线性回归或岭回归）进行最终预测。这种方法能有效集成不同模型的优势。

实操心得：在竞赛和实际业务中，我常采用“LightGBM为主，Prophet为辅，ARIMA为基准”的融合策略。对于大多数商品，LightGBM凭借强大的特征处理能力表现最佳；对于强季节性、节假日的序列，Prophet能提供有效补充；ARIMA则作为一个稳健的基准线。融合时，给LightGBM最高权重（如0.7），Prophet次之（0.25），ARIMA最低（0.05），往往能取得稳定且领先的效果。

5. 评估指标与业务校准：从“预测准”到“有用”

模型训练好后，需要在验证集上评估。但切记，统计意义上的最优不等于业务上的最优。

5.1 多维度评估指标

不要只依赖一个RMSE或MAE。

• RMSE（均方根误差）：对大误差惩罚更重。如果你的业务更害怕“预测严重不准”（如爆款缺货），RMSE更合适。
• MAE（平均绝对误差）：更直观，衡量平均偏差。
• MAPE（平均绝对百分比误差）：相对误差，便于比较不同量级商品的预测水平。但注意，当真实值接近0时，MAPE会趋于无穷大，不适用。
• WAPE（加权平均绝对百分比误差）：用总误差除以总实际值，避免了MAPE在零值附近的问题。
• 分位数损失：如果你关心的是预测区间的上下界（如为库存安全，更关注90%分位数的高估风险），可以评估特定分位数的预测准确度。

5.2 业务校准：将预测值转化为决策值

模型输出的是“点预测”（一个具体数值），但业务需要的是“决策”。例如，库存补货量。

• 安全库存：预测值 + 安全库存 = 建议库存水平。安全库存的计算取决于需求波动性（预测误差的标准差）和服务水平目标。
• 损失函数不对称：缺货损失（低估）通常远大于积压损失（高估）。你可以在模型层面就解决这个问题，例如：
  • 使用分位数回归，预测一个较高的分位数（如70%）作为补货参考。
  • 在LightGBM中，可以自定义非对称的损失函数，对低估的样本给予更大的惩罚权重。
• 整数约束与最小起订量：预测销量可能是小数，但采购必须按整数（箱、件）进行。同时，供应商可能有最小起订量（MOQ）。需要在最终输出时，对预测结果进行取整和MOQ约束的调整。

6. 完整项目流程与代码框架

结合MathorCup B题和一般电商预测项目，一个完整的流程如下：

6.1 问题定义与数据探索

1. 明确预测目标：预测未来多少天？预测粒度是天/周？是单品级还是品类级？
2. 数据探索性分析：绘制销量时序图、分布直方图、箱线图。计算自相关性、季节性。识别缺失、异常和明显模式。

6.2 数据预处理与特征工程

1. 清洗数据，处理异常值和缺失值。
2. 构建时间、滞后、滚动、商品、外部等特征。
3. 划分训练集、验证集和测试集。务必按时间顺序划分，不能用随机划分。

6.3 基准模型与多模型实验

1. 建立简单基准模型，如历史均值法、上周同期法。
2. 依次实现并调优ARIMA、Prophet、LightGBM/XGBoost等模型。
3. 在验证集上评估各模型表现。

6.4 模型集成与优化

1. 根据验证集表现，选择2-3个表现最佳且差异度大的模型。
2. 尝试加权平均或Stacking等融合方法。
3. 对融合后的模型在测试集上进行最终评估。

6.5 结果输出与业务解释

1. 输出未来周期的预测值，并可视化成图表。
2. 分析特征重要性，向业务方解释影响销量的关键因素。
3. 提供预测的不确定性区间（如通过分位数预测或Bootstrap方法），为决策提供风险参考。

# 一个简化的端到端流程框架示意 import pandas as pd import numpy as np from sklearn.model_selection import TimeSeriesSplit import lightgbm as lgb from statsmodels.tsa.arima.model import ARIMA from prophet import Prophet from sklearn.metrics import mean_squared_error, mean_absolute_error class DemandForecastPipeline: def __init__(self, data_path): self.df = pd.read_csv(data_path) self.preprocess() self.feature_engineering() def preprocess(self): # 数据清洗、异常值处理、格式转换 self.df['date'] = pd.to_datetime(self.df['date']) self.df = self.df.sort_values(['product_id', 'date']).reset_index(drop=True) # ... 具体清洗逻辑 def feature_engineering(self): # 构建各类特征 # ... 滞后、滚动、时间特征等 self.feature_cols = [...] # 定义特征列名 self.target_col = 'sales' def train_lgb(self): tscv = TimeSeriesSplit(n_splits=5) models = [] scores = [] for fold, (train_idx, val_idx) in enumerate(tscv.split(self.df)): X_train = self.df.iloc[train_idx][self.feature_cols] y_train = self.df.iloc[train_idx][self.target_col] X_val = self.df.iloc[val_idx][self.feature_cols] y_val = self.df.iloc[val_idx][self.target_col] # 训练LightGBM # ... 训练代码 val_pred = model.predict(X_val) score = np.sqrt(mean_squared_error(y_val, val_pred)) scores.append(score) models.append(model) print(f"LightGBM平均RMSE: {np.mean(scores):.4f}") return models def train_prophet(self, product_list): # 对每个商品单独训练Prophet模型 # ... def ensemble_predict(self, test_data, lgb_models, prophet_models): # 获取各模型预测 lgb_pred = np.mean([model.predict(test_data[self.feature_cols]) for model in lgb_models], axis=0) prophet_pred = ... # 获取Prophet预测 # 加权平均融合 final_pred = 0.7 * lgb_pred + 0.3 * prophet_pred return final_pred # 使用流程 pipeline = DemandForecastPipeline('sales_data.csv') lgb_models = pipeline.train_lgb() prophet_models = pipeline.train_prophet(top_products) # 假设test_df是未来期的特征数据 final_predictions = pipeline.ensemble_predict(test_df, lgb_models, prophet_models)

7. 常见问题与避坑指南实录

在实际操作和竞赛中，以下问题是高频雷区：

7.1 数据泄露：最隐蔽的致命错误

• 问题表现：模型在验证集上表现极好，但上线或预测未来时一塌糊涂。
• 根本原因：在构建特征或划分数据集时，不小心使用了未来的信息。例如，用“当天的浏览量”预测“当天的销量”，或者划分数据集时没有按时间顺序，导致训练集包含了验证集之后的数据。
• 排查与解决：
  1. 检查所有特征：确保每个特征在t时刻的值，仅由t-1及之前的历史数据计算得出。对于滚动均值rolling_mean_7，必须使用.shift(1)。
  2. 严格按时间划分数据集：永远使用TimeSeriesSplit或手动按日期切割，确保验证集的时间都在训练集之后。
  3. 模拟线上环境：在验证时，采用“滚动预测”的方式，即用截至到某一时刻的所有历史数据预测下一个时刻，逐步推进，而不是一次性用全部历史数据训练然后预测一个连续区间。

7.2 过拟合与欠拟合的识别

• 过拟合：模型在训练集上误差很小，在验证集上误差很大。表现为学习到了数据中的噪声而非规律。
  • 应对：增加训练数据量（如果可能）、简化模型（减少树深度、叶子数）、增加正则化（L1/L2正则、Dropout）、使用交叉验证早停。
• 欠拟合：模型在训练集和验证集上的误差都很大。表现为模型能力不足，无法捕捉数据中的基本模式。
  • 应对：增加模型复杂度（更多层、更深树）、添加更有力的特征、减少正则化、尝试更强大的模型。

7.3 新品/稀疏数据的预测难题

• 问题：对于新上架商品或历史销量极少的商品，缺乏有效历史数据，传统时序模型失效。
• 解决思路：
  1. 同类类比法：找到与该新品在品类、价格、属性上相似的“兄弟商品”，用兄弟商品的历史销售模式作为新品的初始预测依据。
  2. 层次预测法：先预测品类总销量，再根据新品上市后的初期表现（如首周销量、点击率）分配一个品类内的预估份额。
  3. 使用Prophet等对数据量要求不高的模型：Prophet对历史数据长度要求相对宽松，可以尝试。
  4. 设定保守的初始预测：在没有任何信息的情况下，设定一个较低的安全预测值，然后根据实际销售数据快速迭代更新模型。

7.4 大促期间的预测失真

• 问题：大促期间销量呈数十倍甚至百倍增长，模型基于平日数据训练，难以准确预测。
• 解决思路：
  1. 特征工程：引入强力的“大促”标志特征，以及“距离大促天数”、“是否预热期”等衍生特征。
  2. 数据层面：可以将大促数据单独拿出来，和平日数据分别建模，或者给予大促数据更高的样本权重。
  3. 模型层面：使用对异常值不敏感的模型（如分位数回归、树模型），或者专门针对大促期训练一个修正模型。
  4. 业务规则修正：结合运营计划，如促销力度、广告投放预算，对大促期的模型预测结果进行人工经验上调。例如，模型预测增长10倍，但根据投入资源，业务判断可能增长15倍，则可进行规则叠加。

7.5 评估指标选择不当

• 问题：使用MAPE评估包含零值或接近零值的序列，导致指标失真或无穷大。
• 解决：改用WAPE、RMSE或MAE。或者，在计算MAPE前，过滤掉实际值过小的样本（如小于某个阈值）。

最后，我想分享一个最深的体会：电商需求预测不是一个纯粹的数学优化问题，而是一个人机结合的决策过程。再好的模型也只是工具，它需要业务人员的经验进行校准和修正。建立模型与运营、采购团队的定期沟通机制，让他们理解模型的逻辑和局限，同时将他们的市场洞察（如即将到来的热点、竞争对手动向）反馈到模型中，才能形成一个不断进化的、真正为业务创造价值的预测系统。在MathorCup这样的竞赛中，能够体现这种业务思考的论文，往往更能打动评委。而在真实工作中，这种结合才是项目成功的关键。