OpenAI 性能工厂:让独立代理反驳诊断以提高根因准确率
OpenAI 的性能工程师 Okay Zed 和 Cyrus Forbes 在 2026 年 11 月发表了一篇工程博客,解释了他们的 Performance Factory 系统如何用 Codex 代理自动调查和修复 ChatGPT 的性能回归。文章最有价值的部分不是系统本身,而是它揭示的一个代理工作流设计问题:调查代理有时会在第一个看似合理的解释处停下来并给出错误诊断,而将调查和质疑分离为独立代理轮次可以拦截这些错误。
问题的起源很具体。早期版本中,代理有时找到了一个听起来合理的解释就标记原因已找到,但事后发现诊断是错的。文章给出了一个清晰的失败案例:一个代理将 ChatGPT 对话失败追溯到图片下载错误并标记为已找到原因。但一个独立的 Codex 审查者注意到,负责定位文件的内部服务已经恢复,而图片请求仍在失败——诊断无法解释持续的故障。审查者重新打开了调查并记录了尚未确立的部分。
他们的解决方案是对抗性审查:一个独立的 Codex 会话专门试图反驳提出的诊断。审查者重新检查假设并测试反事实——如果某次发布导致了变慢,未暴露于该发布的类似请求是否保持健康?如果怀疑的变更被回滚,受影响的指标是否恢复?这不是简单的重复检查,而是从不同角度挑战同一个结论。
在 100 个根因建议的人工审查中,70% 被评为准确,30% 需要进一步细化或未能完全确立因果关系。文章明确指出,在 Regression Workflow 中,不同的轮次分别负责调查回归、挑战诊断和提出修复,通过制衡机制提高准确率数字。这个 70% 是 OpenAI 内部自报数据,样本为 100 例,未提供独立复现,也未给出引入对抗性审查之前的准确率基线。
更广泛的模式是将较大的任务拆分为专注的 Codex 轮次。每个轮次有明确的角色:调查者、质疑者、修复者。任务状态和关键发现记录在代理上下文之外,使得其他代理或工程师可以接手工作。这种设计允许工作通过代码审查或部署后恢复,而不是要求单个代理会话完成所有事情。
但文章也诚实地指出,修复比诊断更难。代理提出的变更有时比必要的更复杂,或引入新问题。有些修复需要更高层次的架构决策——例如添加缓存可能改善性能但引入过期数据。这类变更需要了解该服务的工程师来权衡取舍。目前瓶颈在于等待工程师审查和合并修复,OpenAI 正在探索代理是否能自己完成这一步。
对于构建代理工作流的团队,这篇文章的实际贡献是提供了一个可检查的设计模式:不要依赖单个代理的可靠性,而是通过角色分离和对抗性审查来构建制衡。70% 的准确率意味着每三个诊断中仍有一个需要人工介入。系统运行三个多月,追踪了超过 1700 次调查,完成了 600 多个根因分析,平均每天 17 次自动调查。
需要注意的是,这些都是 OpenAI 内部系统的自报数据。文章没有提供外部验证、跨团队复现或不同模型版本下的对比。它描述的是一个特定公司、特定基础设施上的实践,其迁移到其他环境的效果取决于类似的工具接入、数据质量和任务复杂度。
信息源:OpenAI