RT-J关系型基础模型

斯坦福大学团队发布RT-J，一款8500万参数的关系型基础模型（RFM），旨在解决结构化数据预测中样本稀缺的问题。该模型在RelBench基准测试中声称，达到同等预测精度所需的标注样本数量比现有强基线少10倍。

【背景】传统关系型预测模型通常需要数万条标注数据或针对特定任务训练，限制了其在标签稀缺场景下的应用。RT-J通过预训练于包含639个真实世界数据库的“THE JOIN”语料库，并结合随机游走检索器优化上下文构建，实现了从数百个示例中进行高效预测的能力。

目前，RT-J已在Hugging Face开源，权重采用Apache-2.0许可（注：第三方平台SAVRN显示为CC BY-NC-SA 4.0，存在许可差异，需以官方仓库为准）。其核心贡献在于证明了通过大规模预训练和特定的上下文工程，关系型Transformer可以在极少样本下保持高精度。