阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · GPT-OSS数学评分1 分钟阅读·2026-10-06

开源模型可低成本评判数学证明

新研究称GPT-OSS等开源模型在数学证明评分上与前沿模型表现相当,但成本低数十倍。

重要性局部证据E2 未复现写法快讯

2026-10-06 12:00

开源模型GPT-OSS-120B和DeepSeek-V4-Flash在数学证明自动评分任务中,表现与Claude Opus 4.7等前沿模型统计上无显著差异,但推理成本低4至100倍。

传统上评估AI数学推理能力依赖昂贵的前沿大模型作为裁判。该研究在IMO-GradingBench基准测试中发现,使用三个廉价开源模型进行共识投票(如全票通过或多数决)可作为有效的替代方案。

实验显示,全票通过规则具有最高精确度(0.855),而多数决规则具有最高召回率(0.912)。该结论在独立数据集ProofBench上也得到了复现。

此结果为单篇预印本论文(arXiv:2608.00004v2)的作者自测数据,尚未见第三方独立复现报告。

来源

  • 原始出处arxiv.org↗
专题

GPT-OSS数学评分

OpenAI 发布的开源模型 GPT-OSS 在数学证明自动评分任务中,展现出与前沿闭源模型相当的能力,但成本大幅降低。2025年8月,OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b,作为其自 GPT-2 以来首批…

3 节点1 篇更新于 2026-10-07 08:52

事情怎么走到这一步

  1. 2025-08-05OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两个开源权重模型,采用混合专家(MoE)架构,声称在推理任务上接近 o4-mini 性能,且支持本地部署。
  2. 2025-08-17独立研究团队发布评估报告,对比 GPT-OSS 与其他开源模型,发现 gpt-oss-20B 在 HumanEval 和 MMLU 等基准上表现优于 gpt-oss-120B,质疑稀疏架构的缩放效应。
登录 / 注册
阅读研究雷达投资体系
2026-10-06
研究论文 arXiv:2608.00004 发表,证实 GPT-OSS-120B 和 DeepSeek-V4-Flash 在数学证明评分上与前沿模型无显著差异,成本降低数十倍,并验证了“全票通过”规则的高精确率。

还没定论的部分

  • GPT-OSS 评分系统在 Gradescope 等大规模教学环境中的延迟与吞吐量是否满足实时反馈需求?
  • 针对手写数学公式的多模态评分,开源模型能否突破视觉解析瓶颈以匹配人类评分员水平?
  • “全票通过”与“多数投票”规则在不同难度题目上的误差分布是否存在系统性偏差?
读完整专题 →
带入研究 →