阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 预训练投毒样本数1 分钟阅读·2026-10-01DisconfirmAI 编辑部

几十条样本即可无声改写小模型行为路径

2000万参数小模型上约56条错误样本可改写一半回答路径,能否推广到真实大模型待验证。

重要性局部证据E2 未复现写法快讯

原文发布时间 2026-10-01 10:45

约56条错误答案样本就能让一个2000万参数小模型在半数问题上改走另一条回答路径,且常规测试准确率保持满分——这是作者自报的实验结果,前提是先花几百条样本让模型学会绕开捷径。

此前这类行为改写被认为需要大量数据:Souly等人2025年发现预训练投毒约需250篇文档,且数量不随模型和数据规模变化。本实验中训练集从3.2万条扩到32万条,所需特殊样本始终是几百条(9.6万条时约378条),说明起作用的是绝对条数而非占比,任务为人工构造的动词问答。

作者在9月30日的LessWrong帖文中给出解释:普通样本对绕行路径的强化有上限,只有捷径被切断或给出错误答案的样本才真正起作用。论文尚在评审中,结论能否推广到真实大模型待验证。

来源

  • 原始出处lesswrong.com↗
专题

预训练投毒样本数

往一个模型的预训练数据里塞多少条恶意样本,才能悄悄改掉它的行为?答案可能比业内普遍假设的少得多:Anthropic 的研究称约 250 份文档即可植入后门,且与模型大小无关;一项新实验进一步显示,在 2000 万参数的小模型上,约 56 条…

3 节点1 篇更新于 2026-10-04 02:56

事情怎么走到这一步

  1. 2025-11-07
登录 / 注册
阅读研究雷达投资体系
发表于 ACM Transactions on Privacy and Security 的 IDPA 攻击表明,对比学习预训练编码器同样可被无差别投毒:在 OpenAI CLIP 数据集上攻击成功率达 88%。
  • 2026-02-04微软发布模型投毒检测研究,指出中毒模型的三个可观察特征,并推出面向 GPT 类模型的实用扫描器,在 2.7 亿至 140 亿参数模型上测试称误报率低。
  • 2026-10-01一项实验显示,在 2000 万参数小模型上约 56 条错误样本即可改写一半回答路径;能否推广到真实大模型待验证。
  • 还没定论的部分

    • 约 56 条样本改写小模型行为的结果能否推广到真实大模型?
    • 微软扫描器在真实生产环境模型上的实际检出率如何?
    • 后训练阶段(如安全微调)能否有效清除已植入的后门?
    读完整专题 →
    带入研究 →