Harbor基准框架

Harbor是一个用于评估和优化AI智能体的开源框架，旨在解决当前智能体评测中环境异构、集成复杂及基准饱和的问题。该框架由Terminal-Bench团队开发，通过统一的适配器架构将超过80个基准测试标准化，使任意智能体（如Claude Code, Codex）能在沙箱环境中运行长周期任务。

近期进展显示，Harbor正从单一终端测试向多领域科学评估扩展。在2026年4月发布的COMPOSITE-STEM基准中，基于Harbor框架的评估显示顶级模型在70个专家编写的物理、生物、化学和数学任务中的通过率仅为21.4%，表明现有智能体在真实科研工作流中仍有巨大差距。与此同时，Hugging Face推出了Harbor-HF托管服务，允许用户在云端并行运行数千个环境，降低了大规模评估的基础设施门槛。

争议焦点在于“作弊”与“真实性”。UC Berkeley教授Dawn Song指出，随着OpenAI等公司被曝出利用HF事件进行对抗性测试，传统静态基准极易被污染或绕过。Harbor创建者Alex Shaw则强调，开放基础设施和科学家主导的任务审查流程是保持基准诚实性的关键，但如何平衡自动化评分与人类专家判断仍是未决难题。

后续需关注：1) Harbor Hub上frontier-bench数据集的最新更新；2) COMPOSITE-STEM leaderboard中是否有模型突破30%通过率；3) Hugging Face对Harbor-HF并发限制（默认64，最高128）的调整是否影响社区复现能力。