几十条样本即可无声改写小模型行为路径
2000万参数小模型上约56条错误样本可改写一半回答路径,能否推广到真实大模型待验证。
重要性局部证据E2 未复现写法快讯
约56条错误答案样本就能让一个2000万参数小模型在半数问题上改走另一条回答路径,且常规测试准确率保持满分——这是作者自报的实验结果,前提是先花几百条样本让模型学会绕开捷径。
此前这类行为改写被认为需要大量数据:Souly等人2025年发现预训练投毒约需250篇文档,且数量不随模型和数据规模变化。本实验中训练集从3.2万条扩到32万条,所需特殊样本始终是几百条(9.6万条时约378条),说明起作用的是绝对条数而非占比,任务为人工构造的动词问答。
作者在9月30日的LessWrong帖文中给出解释:普通样本对绕行路径的强化有上限,只有捷径被切断或给出错误答案的样本才真正起作用。论文尚在评审中,结论能否推广到真实大模型待验证。