TabPFN因果推断争议
5 Schritte1 Beiträge5 Quellen
Prior Labs推出的表格基础模型TabPFN正试图突破纯预测范畴,进入因果推断领域。核心争议在于:TabPFN在预训练中基于结构因果模型(SCM)生成的合成数据,其内部表征是否已隐含因果知识?
【背景】传统方法如Pearl或Rubin框架依赖严格的假设或实验数据,而TabPFN声称仅凭观察性数据即可通过“先验拟合”近似贝叶斯推理。
目前存在两条技术路径的分歧:
- 直接推断派:认为TabPFN本身具备因果能力。例如,Do-PFN项目利用TabPFN架构直接估计干预效果(CATEs),FairPFN则用于消除算法歧视,均无需已知因果图。
- 探针验证派:Freiburg大学团队指出,虽然TabPFN嵌入中包含因果信息,但需通过额外的“适配器框架”提取并解码为邻接矩阵才能进行因果发现,且该信息主要集中在中间层。这意味着原始TabPFN可能并未完全“理解”因果结构,而是需要后处理来显式化这种知识。
此外,社区对TabPFN是否存在过拟合公开基准测试仍有质疑,认为其在分布外任务中的表现尚待验证。这一争论关乎AI能否在缺乏随机对照试验(RCT)的情况下,可靠地从观察数据中推导因果关系。
Wie es dazu kam
TabPFN论文发布,提出基于结构因果模型(SCM)先验的Transformer,实现秒级小样本表格分类。
arxiv.org ↗Calvin McCarter发表分析文章,探讨TabPFN学到的归纳偏置,质疑其是否过拟合及行为的可解释性。
arxiv.org ↗Frank Hutter宣布Do-PFN,声称利用TabPFN架构可直接从观察数据预测条件平均处理效应(CATEs)。
linkedin.com ↗ICML展示FairPFN,证明PFN可在未知因果模型情况下识别并缓解受保护属性的因果效应。
icml.cc ↗Swelam等人发表论文,证实TabPFN嵌入含因果信息,但需适配器解码,且信息集中于中间层。
arxiv.org ↗