专题DisconfirmAI 编辑部更新于 2026-10-21 14:52

OpenAI多语编程基准

3 节点2 篇4 来源

OpenAI于2026年10月19日发布新基准测试MultiLangBench，专门评估大模型在COBOL、Fortran等“低资源”编程语言中从零构建SQLite兼容数据库引擎的能力，并公布GPT-6系列模型在遗留代码迁移任务上的显著性能提升。该基准旨在解决企业维护数十年旧系统时面临的文档缺失和人员流失难题。据OpenAI自测数据，GPT-6 Astra在20种语言的平均测试通过率达87.4%，较上一代大幅提升；在COBOL迁移至现代语言的评估中，GPT-6.1 Sol准确率最高达97.9%。尽管厂商称这些语言支撑着全球关键基础设施（如银行系统），但所有数据均源自OpenAI内部评测，尚无独立复现结果，且生产环境应用仍需专家审查。

事情怎么走到这一步

2026-10-19
OpenAI在GitHub开源MultiLangBench基准测试套件，要求模型在禁止联网和移除现有SQLite库的环境下，依据文档用指定语言实现SQLite 3.40.1功能。
github.com ↗
2026-10-19
OpenAI发布官方博客《Advancing coding in low-resource programming languages》，披露GPT-6 Astra在MultiLangBench上平均通过率87.4%，以及GPT-6.1 Sol在COBOL迁移评估中高达97.9%的准确率。
openai.com ↗
2026-10-20
多家科技媒体（如iThome、The Decoder）报道OpenAI的新基准，指出COBOL仍是最难的语言（Astra通过率72.1%），并强调数据为厂商自测，未经独立验证。
ithome.com.tw ↗

还没定论的部分

第三方机构或开发者社区能否在相同条件下复现OpenAI报告的GPT-6系列高通过率数据？
在实际企业遗留系统迁移项目中，AI生成的代码是否真能保持业务逻辑的字节级一致性，还是仅通过了基准测试的特定用例？
OpenAI是否会公开其未发布的COBOL迁移评估的具体测试集和评分标准以供外部审计？

来源

openai.com

事情怎么走到这一步

2026-10-19

OpenAI在GitHub开源MultiLangBench基准测试套件，要求模型在禁止联网和移除现有SQLite库的环境下，依据文档用指定语言实现SQLite 3.40.1功能。

github.com ↗

2026-10-19

OpenAI发布官方博客《Advancing coding in low-resource programming languages》，披露GPT-6 Astra在MultiLangBench上平均通过率87.4%，以及GPT-6.1 Sol在COBOL迁移评估中高达97.9%的准确率。

openai.com ↗

2026-10-20

多家科技媒体（如iThome、The Decoder）报道OpenAI的新基准，指出COBOL仍是最难的语言（Astra通过率72.1%），并强调数据为厂商自测，未经独立验证。

ithome.com.tw ↗

还没定论的部分

第三方机构或开发者社区能否在相同条件下复现OpenAI报告的GPT-6系列高通过率数据？

在实际企业遗留系统迁移项目中，AI生成的代码是否真能保持业务逻辑的字节级一致性，还是仅通过了基准测试的特定用例？

OpenAI是否会公开其未发布的COBOL迁移评估的具体测试集和评分标准以供外部审计？

事情怎么走到这一步

还没定论的部分

来源

事情怎么走到这一步

还没定论的部分

来源

这一专题下的内容