Snorkel前沿基准
4 steps1 pieces5 Sources
Snorkel AI正通过大幅扩大“开放基准测试资助计划”（Open Benchmarks Grants）至3000万美元，试图解决前沿AI模型评估滞后于能力发展的困境。在2026年10月的Frontier Data Summit上，该公司展示了包括SlopCodeBench、Terminal-Bench-Science在内的新一代基准，旨在从单一任务解决转向评估代理在长周期、迭代式工作流中的代码质量保持能力和科学推理准确性。这一举措标志着AI评测从静态数据集向动态、领域特定且强调“无作弊”验证的转变，直接回应了当前大模型在复杂软件工程和专业知识工作中表现出的局限性。
How it got here
Snorkel AI宣布将Open Benchmarks Grants预算扩大10倍至3000万美元，以支持研究人员构建更稳健、开放的AI评估基准。
benchmarks.snorkel.ai ↗Frontier Data Summit在旧金山举行，聚焦环境复杂性、自主性范围和输出复杂性三大主题，发布多项新基准研究。
frontierdatasummit.ai ↗Snorkel发布博客文章《When Partial Credit Opposes Completion》，探讨AI代理在长周期开放式任务中部分得分与最终完成度之间的矛盾。
snorkel.ai ↗峰会视频上线，Terminal-Bench-Science、JudgmentBench和SlopCodeBench的项目负责人详细讨论了如何构建和维护这些前沿基准。
youtube.com ↗
What is still unsettled
- SlopCodeBench等迭代式基准能否有效遏制模型在长周期编码任务中的‘代码膨胀’（Erosion）现象？
- 3000万美元的资助计划将如何具体分配给不同领域的基准开发，是否会催生新的行业标准？
- 现有模型在Agents' Last Exam等高难度专业工作流基准上的低通过率（最高仅38.2%）何时能实现显著突破？