2025 Nature：表格数据能否不再每次重训调参？TabPFN 把“学习算法”预训练进模型里
1. Paper Information
今天读的是 Nature 2025 论文Accurate predictions on small data with a tabular foundation model。
- Paper: Accurate predictions on small data with a tabular foundation model
- Journal: Nature 637, 319-326 (2025)
- Online date: 2025-01-08
- DOI: https://doi.org/10.1038/s41586-024-08328-6
- Research question: 对于小到中等规模的表格数据，能不能不再为每个数据集单独训练和调参，而是让一个预训练模型在看到整张表后直接完成预测？
这篇论文的主角是TabPFN，也就是 Tabular Prior-data Fitted Network。它把表格预测问题重新组织成一个上下文学习问题：给模型一张包含已知标签和待预测标签的表，让模型在一次前向推理里输出预测。
2. Why is the old route not enough?
表格数据是机器学习最常见的数据形态之一：风控表、临床指标表、材料实验表、A/B 测试表、用户行为聚合表，本质上都是行和列。
但表格数据和图像、文本不一样。同一个数值在不同表里可能代表完全不同的含义；列的类型可能混合了连续变量、类别变量、缺失值、异常值和强噪声。很多表格数据还不大，样本只有几百到几千行。
所以过去二十多年，真实表格任务里最稳的路线通常不是“更深的神经网络”，而是树模型和 AutoML：
- 先清洗特征和缺失值；
- 再尝试 XGBoost、CatBoost、LightGBM、随机森林、线性模型或 SVM；
- 再做交叉验证、调参、集成；
- 最后给每个新数据集训练一个专属模型。
这条路线可靠，但代价也清楚：每张表都要重新拟合，调参时间长，跨数据集迁移弱，也不容易和神经网络系统端到端连接。
3. Core method
TabPFN 的核心变化是：不要只学习某一个表的模型参数，而是预训练一个“会处理表格预测任务的学习算法”。
它的流程可以拆成三步：
- 用结构因果模型、贝叶斯神经网络等生成大量合成表格任务；
- 让 transformer 在这些任务上学习：给定部分已知标签，预测被遮住的标签；
- 面对一张真实新表时，把训练行、测试行、已知标签一起放进上下文，模型通过一次前向推理输出预测。
换句话说，TabPFN 不是在新表上重新跑一轮梯度下降。它把“如何从表格中学习”的能力压进了预训练权重里。
4. Mechanism breakdown
TabPFN 有两个关键设计。
第一个是合成任务先验。论文不是简单收集互联网上的真实表格来训练，而是设计生成过程，模拟缺失值、类别变量、噪声、非线性关系、离群点等表格问题。这样做的好处是减少隐私、版权和测试集污染问题，也能系统控制任务分布。
第二个是面向表格结构的 transformer。普通 transformer 把输入看成序列，但表格同时有行结构和列结构。TabPFN 使用单元格级表示，让每个单元格既能关注同一行的其他特征，也能关注同一列的其他样本。
这个设计让模型更接近人类看表的方式：先看一行内部的特征组合，再看同一列在不同样本间的分布。
4.1 Formula lens
论文中一个核心概率视角是后验预测分布：
p(y^test∣Xtest,Xtrain,ytrain) p(\widehat{\mathbf{y}}_{\mathrm{test}} \mid \mathbf{X}_{\mathrm{test}}, \mathbf{X}_{\mathrm{train}}, \mathbf{y}_{\mathrm{train}})p(ytest∣Xtest,Xtrain,ytrain)
这里，Xtrain\mathbf{X}_{\mathrm{train}}Xtrain是已有标签的训练特征，ytrain\mathbf{y}_{\mathrm{train}}ytrain是训练标签，Xtest\mathbf{X}_{\mathrm{test}}Xtest是待预测样本的特征，y^test\widehat{\mathbf{y}}_{\mathrm{test}}ytest是模型输出的测试标签预测。这个公式表达的不是“给单个样本打分”，而是“在看到整张训练表之后，对测试标签做条件预测”。
从训练角度，可以把 TabPFN 的预训练理解为在大量合成任务上最小化被遮住标签的负对数似然：
θ=argminθ ED∼p(D)[−∑i∈Mlogpθ(yi∣X,yobs)] \theta^=\arg\min_{\theta}\ \mathbb{E}_{D \sim p(D)} \left[-\sum_{i \in M}\log p_{\theta}(y_i \mid X, y_{\mathrm{obs}})\right]θ=argθminED∼p(D)[−i∈M∑logpθ(yi∣X,yobs)]
这个式子是对训练目标的概念化表达：(D) 表示从合成任务分布中采样的一张表，(M) 表示被遮住标签的位置，(X) 是表格特征，(y_{\mathrm{obs}}) 是未遮住的已知标签。它强调的是：模型不是只记住某个真实数据集，而是在许多表格任务上学习一种可复用的预测规则。
表格结构注意力也可以用一个简化视角理解：
hij′=ColumnAttention(RowAttention(hij)) h_{ij}^{\prime}=\mathrm{ColumnAttention}(\mathrm{RowAttention}(h_{ij}))hij′=ColumnAttention(RowAttention(hij))
其中 (h_{ij}) 是第 (i) 行第 (j) 列单元格的表示。这个式子不是论文原文公式，而是对机制的直观化表达：先在行内整合一个样本的特征组合，再在列内比较不同样本的同一特征。
5. How to read the experiments?
论文的结果最值得注意的不是“又一个模型赢了 benchmark”，而是两个点同时出现：
第一，它在小到中等规模表格任务上非常强。论文报告 TabPFN 在最多 10,000 个样本、500 个特征、10 个类别的基准任务中，与树模型、线性模型、SVM、MLP 和 AutoML 系统对比。
第二，它的时间成本非常低。论文摘要强调，在一个分类设置里，TabPFN 用 2.8 秒超过了调参 4 小时的强基线集成。这意味着它真正改变的是工作流：过去你要训练和调参，现在可以把新表作为上下文直接输入。
这并不表示树模型失效。更合理的理解是：在表格数据上，深度学习以前缺少合适的归纳偏置；TabPFN 试图把这种归纳偏置从“人工调参经验”变成“合成任务预训练得到的学习算法”。
6. Engineering or research implications
对工程实践来说，TabPFN 的价值不只是准确率，而是三件事：
- 快速强基线：拿到一张小到中等规模表格时，可以很快得到一个强参考结果；
- 低调参成本：减少每个数据集反复搜索超参数的时间；
- 新接口形态：表格预测可以像上下文学习一样，把样本、特征和标签组织成输入，而不是每次都从零训练模型。
对研究来说，TabPFN 更大的启发是：基础模型不一定只能靠海量真实数据预训练。对于表格这种真实数据碎片化、隐私敏感、分布差异大的领域，合成任务先验可能是一条可扩展路线。
7. Do not overinterpret
这篇论文值得重视，但不能把它讲成“树模型时代结束”。
需要保留几个边界：
- 论文结论最强的范围是测试过的小到中等规模表格任务；
- 很大规模、高维稀疏、强时间漂移、强监管约束的数据仍需单独验证；
- 表格任务的业务指标、成本函数、可解释性、校准和公平性，不能只靠一个 benchmark 分数决定；
- 合成先验决定了模型擅长什么，也可能决定了它忽略什么；
- 在医疗、金融、材料等领域，TabPFN 的输出仍需要领域验证和监控。
8. One-sentence summary
TabPFN 的真正贡献不是“又做了一个表格模型”，而是把表格预测从每张表单独训练，推进到预训练一个能在上下文里执行的学习算法；但它最可靠的使用方式仍然是作为小到中等规模表格任务的强基线和加速器，而不是无条件替代所有表格机器学习流程。
References
- Hollmann, N. et al. Accurate predictions on small data with a tabular foundation model. Nature 637, 319-326 (2025). https://doi.org/10.1038/s41586-024-08328-6
- Breiman, L. Random forests. Machine Learning 45, 5-32 (2001). https://doi.org/10.1023/A:1010933404324
- Cortes, C. and Vapnik, V. Support-vector networks. Machine Learning 20, 273-297 (1995). https://doi.org/10.1007/BF00994018
- Shwartz-Ziv, R. and Armon, A. Tabular data: Deep learning is not all you need. Information Fusion 81, 84-90 (2022). https://doi.org/10.1016/j.inffus.2021.11.011
- Gijsbers, P. et al. AMLB: an AutoML benchmark. Journal of Machine Learning Research 25, 1-65 (2024).