OpenAI性能工厂
3 节点1 篇3 来源
OpenAI 已部署名为“性能工厂”(Performance Factory)的内部自主系统,该系统由 Codex 驱动,旨在自动化调查和缓解 ChatGPT 的性能回退问题。这一举措解决了关键瓶颈:随着 AI 代理加速代码变更,传统的人工性能审查变得不可持续。在短短三个多月内,其首个工作流“回归工作流”(Regression Workflow)跟踪了超过 1,700 次调查,并为 600 多个案例确定了根本原因,平均每天进行 17 次自动调查。
该工厂由四个组件构成:具有可配置工作流的任务服务、将工作分配给代理的调度循环、基于云端的 Codex 执行环境,以及在条件变化时唤醒代理的事件订阅机制(例如 GitHub 审查或部署完成)。一项关键创新是使用独立的对抗性代理来反驳初步诊断,从而提高准确性。然而,虽然诊断实现了自动化,但修复实施仍然困难;只有约 15 个上线的修复是 Codex 直接编写的拉取请求,大多数变更仍需工程师审查和合并。OpenAI 报告称,在人工评估中根本原因准确率为 70%,但强调架构权衡和最终部署决策仍需人类判断。
事情怎么走到这一步
OpenAI 工程师 Okay Zed 和 Cyrus Forbes 发布工程博客,详细介绍性能工厂从手动工具到自动化 Codex 工作流的演变。
openai.com ↗VentureBeat 发布独家报道,强调系统在三个月内跟踪 1,700 多次调查并确定 600 多个根本原因等指标。
venturebeat.com ↗进一步分析指出,虽然 400 个案例推进到提出修复方案,但仅约 50 个上线修复与代理建议一致,约 15 个为 Codex 直接提交的 PR。
ai-primer.com ↗
还没定论的部分
- 该系统最终能否在无人工批准的情况下部署低风险修复?
- 如何进一步减少那 30% 不准确或不完整的诊断?
- 随着自动化扩展,对工程团队结构的长期影响是什么?