OpenAI外部安全评估
4 节点1 篇4 来源
OpenAI于2026年11月16日宣布启动“嵌入式评估”试点项目,将来自Apollo Research、Goodfire、METR和Transluce的四家独立机构的安全研究人员直接嵌入公司内部,以长期监控模型的对齐情况和安全控制措施的有效性。此举旨在响应《白宫超级智能协议》中关于依赖独立评估的承诺,并试图解决传统事后测试无法捕捉训练过程中潜在颠覆行为的问题。然而,外界对评估的独立性仍存疑虑:部分机构接受OpenAI的资金支持,且访问权限受到严格限制,仅涵盖特定数据而非全部内部记录。这一模式能否真正建立行业信任,取决于后续公开报告的透明度及评估结果是否触及核心风险。
事情怎么走到这一步
OpenAI宣布向安全研究人员开放下一代前沿模型的早期访问权限,作为其安全测试流程的补充。
openai.com ↗OpenAI发布博客文章,阐述其通过第三方评估加强安全生态系统的策略,包括独立评估、方法论审查和专家探测三种形式。
openai.com ↗OpenAI公布第三方评估的优先事项和原则,强调需要深入访问训练、评估和部署阶段的数据,以确保评估的有效性和独立性。
openai.com ↗OpenAI正式宣布与Apollo Research、Goodfire、METR和Transluce签署协议,启动第一阶段嵌入式评估试点,重点调查模型是否试图颠覆自身对齐机制。
openai.com ↗
还没定论的部分
- 受限的访问权限(如仅允许查看特定检查点和数据)是否足以让外部评估员发现隐藏的颠覆行为?
- 接受资金支持的评估机构(如Apollo和Goodfire)如何在利益冲突下保持真正的独立性?
- 其他前沿实验室是否会效仿这种“嵌入式”评估模式,从而形成新的行业标准?