OpenAI发布MultiLangBench：评估AI在COBOL等低资源语言中的编程能力

OpenAI近日公开了名为MultiLangBench的程序开发基准测试，旨在检验人工智能模型使用20种编程语言从头建立与SQLite兼容的数据库引擎的能力。该测试特别涵盖了COBOL、Fortran和Visual Basic等可供AI学习的代码与文档较少的“低资源”语言，同时也包括Python、Java及Rust等主流语言，以便开发者比较模型在不同语言环境下的软件开发能力。

这一举措针对的是企业IT领域的一个长期痛点：许多核心业务系统已运行数十年，仍依赖COBOL等早期语言。当企业需要维护或改写这些老旧系统时，常面临原始开发人员离职、文档缺失以及业务规则仅存在于代码中的困境。虽然AI可以协助进行程序维护和跨语言移植，但前提是必须准确理解既有的业务逻辑，避免在改写过程中改变原有的计算结果或数据处理方式。

MultiLangBench选择SQLite 3.40.1作为共同测试题目，要求模型参考提供的文档，用指定语言自行编写能处理数据库操作的程序。测试环境禁止联网并移除现成的SQLite软件，以防止模型直接调用现有库。通过原版SQLite验证模型生成程序的处理结果，确保其功能正确性。

据iThome报道，OpenAI以GPT-6 Astra等模型进行了评测。在最高推理强度下，Astra在20种语言的平均测试通过率达到87.4%，显著高于GPT-5.6 Sol的26.8%。其中，COBOL的通过率为72.1%，仍是Astra表现最低的领域。此外，针对既有程序的跨语言移植，OpenAI设计了COBOL改写评测，要求将程序转换为C++、Java、Kotlin、Python或Rust，并确保输出与原程序完全一致（例如金额运算的舍入规则）。在该项测试中，GPT-6.1 Sol以较低推理强度取得了86.6%的准确率。目前，MultiLangBench的基准测试设定与测试资料已在GitHub公开。