普林斯顿团队：智能体评估为何不能照搬模型评测方法

普林斯顿大学Sayash Kapoor与Arvind Narayanan团队在2026年10月发表了一篇关于AI智能体评估的综述论文《Emerging Trends in AI Agent Evaluation》，合作者包括斯坦福、英国AI安全研究所和布鲁金斯学会的研究人员。论文中最引人注目的证据来自METR的一项随机对照实验：尽管人们普遍预期AI编码工具会提升开发效率，实验结果却显示，使用智能体工具的软件开发者完成指定任务的整体时间反而增加了。这个发现不是工具本身有缺陷的简单证明，而是揭示了一个更深层的问题——智能体在实验室环境中的能力表现，与它在真实工作流中为人类带来的实际效果之间，存在一条难以跨越的鸿沟。

论文指出，传统模型评估主要关注最终输出是否正确，而智能体评估必须审查完整的执行轨迹。智能体拥有工具访问权限和可操作的环境，这意味着它可能通过捷径完成任务，而非真正解决目标问题。当智能体表现变好或变差时，也很难将变化归因于系统的具体组件，因为智能体是由模型、工具、提示、记忆和外部API等多个部分组成的复合体。

这种全面轨迹审查的工程代价极高。论文举例说，仅在ExploitBench基准测试上评估若干智能体，就需要花费数万美元的API额度。这个数字还不包括搭建和维护评估基础设施本身所需的巨大工程投入。

论文将评估生态面临的结构性困境概括为独立性的多重维度：随着前沿评估成本持续攀升，独立评估者能否参与越来越取决于其资金获取能力；模型访问权限本身也是问题——前沿实验室现在只发布思维链的摘要版本而非原始轨迹，这使得评估者无法完整检查智能体的推理过程。此外，评估者还面临能否不受报复地开展工作、能否透明分享发现等现实约束。

论文将观察到的33个新兴趋势归纳为三个维度：科学与方法、研究议程、评估生态系统。在研究议程上，作者强调评估范围需要扩展——不仅要评估智能体本身的能力，还要评估它与人类的交互方式，以及它对制度和激励结构的影响。在方法上，作者区分了两种互补的视角：智能体能否自动化某项任务，以及智能体能否增强人类的工作。如果评估只关注自动化，我们就能了解人类工作在哪里可以被替代；但这无法告诉我们人类如何更好地与智能体协作，或智能体如何改善人类的工作质量。

对于依赖智能体性能声明做判断的读者——无论是企业采购者、政策制定者还是普通用户——这篇论文提供的核心启示是：当一家公司宣称其智能体在某基准上取得了高分时，需要追问的是评估是否覆盖了完整轨迹、是否区分了自动化与增强、以及实验室结果是否在真实部署条件下得到了验证。论文认为，当前是一个明确的窗口期，可以引入新参与者、新方法和新视角来建立智能体评估的规范标准。