LeituraPesquisaRadarFramework de investimento
Entrar / Cadastrar
← Voltar para a leitura
TópicoEditorial DisconfirmAIAtualizado 2026-10-21 14:52

OpenAI多语编程基准

3 etapas2 peças4 Fontes

OpenAI于2026年10月19日发布新基准测试MultiLangBench,专门评估大模型在COBOL、Fortran等“低资源”编程语言中从零构建SQLite兼容数据库引擎的能力,并公布GPT-6系列模型在遗留代码迁移任务上的显著性能提升。该基准旨在解决企业维护数十年旧系统时面临的文档缺失和人员流失难题。据OpenAI自测数据,GPT-6 Astra在20种语言的平均测试通过率达87.4%,较上一代大幅提升;在COBOL迁移至现代语言的评估中,GPT-6.1 Sol准确率最高达97.9%。尽管厂商称这些语言支撑着全球关键基础设施(如银行系统),但所有数据均源自OpenAI内部评测,尚无独立复现结果,且生产环境应用仍需专家审查。

Como chegamos aqui

  1. 2026-10-19

    OpenAI在GitHub开源MultiLangBench基准测试套件,要求模型在禁止联网和移除现有SQLite库的环境下,依据文档用指定语言实现SQLite 3.40.1功能。

    github.com ↗
  2. 2026-10-19

    OpenAI发布官方博客《Advancing coding in low-resource programming languages》,披露GPT-6 Astra在MultiLangBench上平均通过率87.4%,以及GPT-6.1 Sol在COBOL迁移评估中高达97.9%的准确率。

    openai.com ↗
  3. 2026-10-20

    多家科技媒体(如iThome、The Decoder)报道OpenAI的新基准,指出COBOL仍是最难的语言(Astra通过率72.1%),并强调数据为厂商自测,未经独立验证。

    ithome.com.tw ↗

O que ainda está indefinido

  • 第三方机构或开发者社区能否在相同条件下复现OpenAI报告的GPT-6系列高通过率数据?
  • 在实际企业遗留系统迁移项目中,AI生成的代码是否真能保持业务逻辑的字节级一致性,还是仅通过了基准测试的特定用例?
  • OpenAI是否会公开其未发布的COBOL迁移评估的具体测试集和评分标准以供外部审计?

Fontes

Entrar / Cadastrar
LeituraPesquisaRadarFramework de investimento
openai.com
OpenAI官方博客
↗
  • github.comGitHub仓库↗
  • ithome.com.twiThome报道↗
  • the-decoder.comThe Decoder报道↗
  • Cobertura neste tópico

    • OpenAI claims GPT-6 shows major accuracy gains in legacy programming languages like COBOL2026-10-21Notícias

      OpenAI released new benchmark data claiming significant improvements in handling legacy code, though results are self-reported.

    • OpenAI Releases MultiLangBench to Evaluate AI Coding in Low-Resource Languages like COBOL2026-10-20Notícias

      OpenAI introduces a new benchmark testing large language models' ability to build database engines and port legacy code in data-scarce languages such as COBOL and Fortran.