ReadingResearchRadarInvestment framework
Sign in / Sign up
← Back to reading
TopicDisconfirmAI EditorialUpdated 2026-10-08 10:16

莱比锡数学基准

4 steps1 pieces4 Sources

莱比锡数学基准(Leipzig Benchmark)是由49位数学家在2026年构建的一套包含100道研究级数学问题的数据集,旨在测试大语言模型(LLM)在复杂推理上的极限。最新数据显示,随着模型迭代,该基准中未解题数已从第一阶段的41题降至第四阶段的仅1题,显示LLM推理能力逼近专家水平。

【背景】该基准由波鸿鲁尔大学等机构主导,题目源自代数几何、组合数学等前沿领域,要求答案唯一且不可猜测。评测分为四个阶段:第一阶段5款主流模型单次作答,41题全错;第二阶段3款模型各跑20次,剩16题未解;第三阶段引入“重思考”模型,剩2题未解;2026年9月第四阶段加入网络搜索与代码执行后,仅剩1题未解。

【存疑】尽管成绩斐然,社区对基准有效性存在分歧。批评者指出,这些题目基于已发表的研究,可能存在于训练数据中,导致模型是在“检索文献”而非“原创推理”。支持者则认为,即便涉及检索,整合多源知识并得出正确结论仍体现了高阶推理能力。目前尚无定论证明模型具备真正的数学创造力。

读者应关注后续是否会出现完全基于未公开问题或需要全新证明方法的基准,以区分模型的检索能力与推理能力。

How it got here

  1. 2026-04-01

    49位数学家开始编译100道研究级数学问题,多数工作于5月在莱比锡马克斯·普朗克研究所完成。

    arxiv.org ↗
  2. 2026-06-04

    论文v1发布,报告前三阶段评测结果:未解题数从41降至2,显示LLM能力显著提升。

    arxiv.org ↗
  3. 2026-09-01

    新增第四阶段评测,下一代模型结合网络搜索和代码执行,将未解题数进一步压缩至1题。

    arxiv.org ↗
  4. 2026-10-05

    论文v2更新,正式收录第四阶段结果,确认仅余1题未解。

    arxiv.org ↗

What is still unsettled

  • 剩余的那1道未解题具体是什么?其难度是否代表了当前模型的真正瓶颈?
  • 如何设计基准以彻底排除训练数据污染的影响,从而验证模型的原创推理能力?

Sources

  • arxiv.org原始论文 (arXiv)
Sign in / Sign up
ReadingResearchRadarInvestment framework
↗
  • alphaxiv.orgAlphaSignal 报道↗
  • hyper.aiHyperAI 中文摘要↗
  • amazingindex.comAmazingIndex 社区讨论↗
  • Coverage in this topic

    • Leipzig Math Benchmark: Only 1 Unsolved2026-10-06News

      Next-gen LLMs solved 99 of 100 research-level math questions, nearing expert capability.