OpenAI称GPT-6在COBOL等遗留语言基准测试中准确率大幅提升
OpenAI公布新基准数据,称GPT-6在COBOL迁移等任务上准确率远超上一代,但数据源自厂商自测。
重要性实质性证据E2 未复现写法快讯
OpenAI于2026年10月20日发布声明,称其最新一代模型在处理“低资源”编程语言方面取得显著进展。这些语言包括COBOL、Fortran和Visual Basic,尽管训练数据远少于Python等现代语言,但据IBM估计,COBOL仍支撑着全球超过40%的在线银行系统和95%的ATM交易。
根据OpenAI构建的两个评估基准,GPT-6 Astra在MultiLangBench测试中,跨20种语言的平均测试通过率达到了87.4%,相比GPT-5.6 Terra约38%的表现有了大幅提升。该测试要求模型从零开始构建一个兼容SQLite的数据库引擎。
在更具体的COBOL迁移基准测试中,即把COBOL代码转换为C++、Java、Kotlin、Python或Rust的任务里,GPT-6.1 Sol在低推理努力下的准确率为86.6%,而GPT-5.6 Sol仅为5.4%。当提高推理努力程度时,GPT-6.1 Sol的准确率进一步上升至97.9%。
需要注意的是,上述数据均源自OpenAI的内部评估,尚未获得独立第三方的复现验证。此外,高准确率是在特定配置(如最大推理努力)下取得的,实际生产环境中的表现可能受成本和延迟等因素影响。