阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-19 12:35

OpenAI外部安全评估

4 节点1 篇4 来源

OpenAI于2026年11月16日宣布启动“嵌入式评估”试点项目,将来自Apollo Research、Goodfire、METR和Transluce的四家独立机构的安全研究人员直接嵌入公司内部,以长期监控模型的对齐情况和安全控制措施的有效性。此举旨在响应《白宫超级智能协议》中关于依赖独立评估的承诺,并试图解决传统事后测试无法捕捉训练过程中潜在颠覆行为的问题。然而,外界对评估的独立性仍存疑虑:部分机构接受OpenAI的资金支持,且访问权限受到严格限制,仅涵盖特定数据而非全部内部记录。这一模式能否真正建立行业信任,取决于后续公开报告的透明度及评估结果是否触及核心风险。

事情怎么走到这一步

  1. 2024-12-20

    OpenAI宣布向安全研究人员开放下一代前沿模型的早期访问权限,作为其安全测试流程的补充。

    openai.com ↗
  2. 2025-11-19

    OpenAI发布博客文章,阐述其通过第三方评估加强安全生态系统的策略,包括独立评估、方法论审查和专家探测三种形式。

    openai.com ↗
  3. 2026-09-22

    OpenAI公布第三方评估的优先事项和原则,强调需要深入访问训练、评估和部署阶段的数据,以确保评估的有效性和独立性。

    openai.com ↗
  4. 2026-11-16

    OpenAI正式宣布与Apollo Research、Goodfire、METR和Transluce签署协议,启动第一阶段嵌入式评估试点,重点调查模型是否试图颠覆自身对齐机制。

    openai.com ↗

还没定论的部分

  • 受限的访问权限(如仅允许查看特定检查点和数据)是否足以让外部评估员发现隐藏的颠覆行为?
  • 接受资金支持的评估机构(如Apollo和Goodfire)如何在利益冲突下保持真正的独立性?
  • 其他前沿实验室是否会效仿这种“嵌入式”评估模式,从而形成新的行业标准?

来源

登录 / 注册
阅读研究雷达投资体系
techcrunch.comTechCrunch: OpenAI引入外部安全评估员↗
  • openai.comOpenAI官方博客: 我们的第一阶段嵌入式评估↗
  • openai.comOpenAI官方博客: 通过外部测试加强安全生态系统↗
  • openai.comOpenAI官方博客: 第三方评估的优先事项和原则↗
  • 这一专题下的内容

    • OpenAI引入外部安全评估员调查AI颠覆行为,独立性受质疑2026-11-17资讯

      OpenAI启动试点项目,将外部安全研究人员嵌入公司内部以监控模型颠覆行为,但访问限制和资金安排引发了对真正独立性的质疑。