资讯1 分钟阅读·
InfiLoop预印本:循环原生残差连接助7M模型数独准确率近98%
新机制解决循环Transformer迭代越多越不准的问题,小模型可借深度提升推理。
重要性实质性证据E2 未复现写法快讯
InfiLoop方法让7M参数模型在Sudoku-Extreme达到97.9%准确率,并能随测试时迭代超过2万步持续改进。
背景:现有循环Transformer增加迭代次数反而降低推理准确率,因为噪声状态更新会覆盖正确的中间推导,甚至撤销已完成的解法,导致后续迭代难以纠错。
结论:该预印本提出InfiLoop,一种结合内容加权与时间衰减的循环原生残差连接。它学习保留哪些过去计算并接受多少新更新,从而抑制不可靠提案并保留有用状态。
边界:数据来自作者自测,尚未见独立复现;主要验证于数独和ARC-AGI-2等特定推理任务,未说明在通用语言模型上的表现。