阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · Harbor基准框架1 分钟阅读·2026-10-18

斯坦福博士生Steven Dillmann介绍Terminal-Bench-Science:AI智能体在科学研究中的评测基准

Frontier Data Summit 2026 演讲视频,由 Stanford 博士生、Terminal-Bench-Science 项目负责人 Steven Dillmann 主讲。该基准测试评估 AI 智能体在生命、物理、地球、数学和工程科学领域的工作流能力,重点介绍了科学家主导的任务审查流程及 0.1 版本的初步模型结果。

重要性局部证据E2 未复现写法快讯

2026-10-16 23:12

本资源为 Frontier Data Summit 2026 的演讲视频,主讲人为 Stanford 博士生、Terminal-Bench-Science 项目负责人 Steven Dillmann。

Terminal-Bench-Science 旨在评估 AI 智能体在真实科学研究工作流中的表现,覆盖生命、物理、地球、数学和工程五大科学领域。

视频内容涵盖科学家主导的任务审查流程、0.1 版本发布的任务示例与早期模型结果、跨模型的排行榜数据,以及研究人员如何贡献任务的路线图。

该项目获得了 Snorkel AI Open Benchmarks Grants 的支持。对于关注 AI 代理在科学发现中实际能力边界的研究者和开发者,此视频提供了关于基准构建方法和初步评测结果的直接参考。

来源

  • 原始出处youtube.com↗
专题

Harbor基准框架

Harbor是一个用于评估和优化AI智能体的开源框架,旨在解决当前智能体评测中环境异构、集成复杂及基准饱和的问题。该框架由Terminal-Bench团队开发,通过统一的适配器架构将超过80个基准测试标准化,使任意智能体(如Claude C…

4 节点3 篇更新于 2026-10-18 07:44

事情怎么走到这一步

  1. 2026-04-01Portex Organizing Team发布COMPOSITE-STEM论文,介绍基于Harbor框架的70个跨学科STEM任务,顶级模型claude-opus-4.6通过率为21.4%。
登录 / 注册
阅读研究雷达投资体系
2026-08-03
Harbor框架团队发布Harbor-Index,这是一个包含82个高难度任务的精选元数据集,最强配置GPT-5.5+Codex通过率仅28.0%。
  • 2026-10-15GitHub仓库terminal-bench-science和terminal-bench持续更新,反映Harbor生态在科学领域的扩展。
  • 还没定论的部分

    • Harbor框架如何应对日益严重的基准数据污染问题?
    • COMPOSITE-STEM的低通过率是否意味着当前智能体无法真正加速科学发现?
    • Hugging Face的Harbor-HF服务能否成为行业标准化的评估基础设施?

    这条线上还有

    • UC Berkeley教授Dawn Song谈AI智能体作弊与基准测试安全2026-10-18
    • AI评估专家Alex Shaw与Sanmi Koyejo在Frontier Data Summit探讨基准测试的科学性2026-10-18
    读完整专题 →
    带入研究 →