斯坦福团队发布RT-J：关系型基础模型在预测任务中所需样本量减少十倍

斯坦福大学研究团队发布了RT-J，一个拥有8500万参数的关系型基础模型（RFM）。该模型旨在解决传统机器学习模型适应新数据库时通常需要数万条标注数据的问题。

根据论文摘要，RT-J在RelBench的上下文回归任务中，平均只需现有强特征工程流水线（结合LLM-agent或RDBLearn特征提取器以及TabICLv2或LightGBM预测器）十分之一的样本量即可达到匹配的预测性能。

为实现这一效率提升，团队构建了名为“THE JOIN”的大规模数据集，包含639个网络爬取的数据库和6023个由大语言模型生成的预测任务。RT-J通过长上下文预训练、新型随机游走检索器以及测试时的上下文调优和集成技术来优化表现。

目前该结果基于作者自测基准，尚未见独立复现报告。