亚马逊Mitra-v2：扩大合成预训练多样性替代网络深度，自报领先TabArena

亚马逊科学团队发布了表格基础模型Mitra-v2，作者Chris Kong在博客中给出了一个明确的判断：该模型相比上一代Mitra-v1的实质提升并非来自架构改动——Transformer仍然同时关注表格的行和列——而是来自合成预训练数据的两个变化：规模扩大和多样性增加。

所谓规模扩大，是指预训练时使用的合成表格行数为v1的10倍、列数约为3倍，使模型在训练阶段就接触到与业务实际规模相当的表格。所谓多样性增加，是指引入了新的混合结构因果模型先验。v1的合成表由经典SCM和树模型分别生成；v2的混合SCM先验在一张因果图中，允许每条边关系分别由小型神经网络、决策树、高斯过程平滑函数或时间依赖自回归过程来定义，使单张合成表就能携带真实表中常见的混合关系类型。配合新的混合优化器保持训练稳定。

部署时有两个轻量包装器扩展模型边界：对极宽表格使用奇异值分解压缩维度；对超过10类的分类任务，将输出层各节点的预测送入层次树进一步细分。值得注意的是，Mitra-v2并非严格零样本模型——默认会在每张新表上短暂自动微调，产生八个副本后取平均预测（bagging），这带来额外计算开销但换取更高精度。

在TabArena（51个真实数据集的公开基准）上，自报结果显示Mitra-v2在v1和v2都能原生运行的33个数据集中有32个优于v1，且全部51个数据集均在一小时预算内完成（v1在超过三分之一的数据集上超时）。在ScoringBench回归基准上，微调后的Mitra-v2排名第一。这些均为厂商自测结果，博客未提及独立复现。

对表格机器学习从业者而言，这篇博客的核心可迁移认识是：在架构不变的前提下，合成数据生成策略的改进——更丰富的因果机制组合、更接近真实规模的表格——可以驱动模型泛化能力的实质提升。作者预期更丰富的合成先验和自适应混合将推动这一方向继续前进。