Snorkel AI峰会：三位基准项目负责人探讨前沿AI评测构建

Snorkel AI于2026年10月16日发布了其Frontier Data Summit 2026的一场小组讨论视频。该节目由Snorkel AI创始团队成员Vincent Sunn Chen主持，邀请了三个开源基准测试项目的负责人参与讨论。

嘉宾包括斯坦福大学博士生、Terminal-Bench-Science项目负责人Steven Dillmann；微软应用科学家、JudgmentBench项目负责人Russell Yang；以及威斯康星大学麦迪逊分校博士生、SlopCodeBench项目负责人Gabriel Orlanski。这三个项目均获得了Snorkel AI开放基准测试资助计划的支持。

根据出版方提供的章节信息，讨论涵盖了构建这些基准时的意外发现、如何在真实工作场景与可靠评分之间取得平衡、利用领域专家和AI代理创建及审查任务、设计验证器以接受所有有效解决方案，以及关于“benchmaxing”（针对基准进行过度优化）和社区责任的话题。此外，还包括观众问答环节，涉及非技术专家的入职培训、跟进前沿发展以及自动化基准构建的可能性。