OpenAI称GPT-6系列在COBOL等老旧代码迁移测试中准确率升至97.9%
OpenAI发布新基准测试结果,显示其最新模型在COBOL等低资源语言代码迁移上的准确率大幅提升,但厂商强调生产环境仍需人工审查。
美国人工智能公司OpenAI于10月19日宣布,其最新一代模型在COBOL、Fortran和Visual Basic等训练数据较少的老旧编程语言上表现显著提升。这些语言虽然现代开发者较少使用,但仍支撑着全球金融和政府的关键基础设施。
据TechNews报道,OpenAI设计了两项内部评测。第一项MultiLangBench要求模型用20种不同语言从零构建兼容SQLite的数据库引擎。结果显示,GPT-6 Astra在最高推理设置下的平均通过率达到87.4%,远高于前代GPT-5.6 Sol的26.8%。其中,COBOL的通过率从10.9%提升至72.1%,Fortran从21.4%升至83.5%,Visual Basic从27.5%升至89.4%。
第二项评测聚焦代码迁移,要求模型将COBOL程序改写为C++、Java、Kotlin、Python或Rust,同时保持原有行为不变。OpenAI表示,此类任务需保留原始计算逻辑与商业规则,因此采用隐藏测试检查输出是否逐字节一致。数据显示,GPT-6.1 Sol在低推理设置下准确率为86.6%,较GPT-5.6 Sol的5.4%大幅提高;提高推理强度后,准确率进一步升至97.9%。
OpenAI指出,低成本版GPT-6 Luna在MultiLangBench中的平均通过率也达到40.3%,且每测试样本的预估API成本低于前代。不过,该公司强调这些成果仅代表测试环境中的进步,若要实际用于生产系统,仍需专家审查并针对具体业务规则与依赖关系进行仔细验证。