阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 模型解释学探针1 分钟阅读·2026-10-01

研究者提出用开源模型内部信号监控闭源模型

不拿权重也能做内部探测的思路有了首批数据,但全部为作者自测,能否用于真实审计待验证。

重要性局部证据E2 未复现写法快讯

2026-10-01 04:43

不接触闭源模型权重,也可能通过开源替身模型的内部信号监控其欺骗等失控行为。

conti等研究团队9月30日在LessWrong提出model hermeneutics:把要研究的闭源模型称为author,用开源的reader模型读它的输出,再在reader内部训练线性探针。作者自测中,27B的reader探测397B的author,AUROC差距平均只有0.004。

团队称探针可检测Claude Opus 4.6、Gemini 3.1 Pro Preview、GPT-5.4等三个前沿模型输出中的奖励作弊、谄媚与欺骗,约半数场景下优于直接询问reader。蒸馏后reader探测欺骗的AUROC从0.69升至0.90。

这是约1.5个月的早期工作,闭源模型内部没有真值,faithfulness只能用开源模型对间接基线衡量,能否用于真实审计待独立验证。

来源

  • 原始出处lesswrong.com↗
专题

模型解释学探针

研究者正在尝试回答一个老问题:语言模型内部到底学到了什么,以及我们用来窥探它的"探针"工具本身可不可信。2026年10月,有研究者在 LessWrong 提出用开源模型的内部信号监控闭源模型,不拿权重也能做内部探测,但首批数据全部为作者自测…

4 节点1 篇更新于 2026-10-04 06:51

事情怎么走到这一步

  1. 2020-12-30
登录 / 注册
阅读研究雷达投资体系
数据科学家 Keyur Faldu 与 Amit Sheth 系统评述语言探针方法,指出核心争议:探针在辅助任务上表现好,究竟是模型真的编码了语言知识,还是探针自己学会了任务,需用"控制任务"和"选择度"来检验。
  • 2025-06-05《光明日报》报道围绕语言模型是否真正"学语言"的争论:乔姆斯基2023年称语言模型连"不可能语言"也能学会,而斯坦福团队用12种"不可能语言"实验发现模型学习它们确实更难,该论文获 ACL 2024 最佳论文奖。
  • 2026-09-20研究团队用模仿语言模型的星系图像模型 AstroPT 验证探针方法:模型按亮度→红移→比恒星形成率的难度顺序学习概念,顺序不随训练目标或规模改变,探针方向还复现了已知物理关系,为线性探针可靠性提供了有"标准答案"的校准证据。
  • 还没定论的部分

    • 用开源模型内部信号监控闭源模型的方法,能否在作者自测之外的第三方真实审计中复现?
    • 星系实验中探针只验证了线性可分的知识结构,非线性缠绕的概念探针读不出来,这一局限在语言模型上如何处理尚无答案。
    • 探针结论目前多为相关性层面,因果验证(如激活修补)能否扩展到真实语言模型仍待检验。
    读完整专题 →
    带入研究 →