英伟达技术博客：从工具调用到任务完成，如何评估AI智能体

当部署一个AI智能体时，关键问题不再是模型生成的单个API调用是否“听起来正确”，而是它能否在实时环境中执行跨越数十个顺序工具调用的工作链，并在某一步失败时进行恢复。英伟达技术博客于2026年9月21日发表的文章《How to Evaluate AI Agents From Tool Calls to Task Completion》指出，传统的LLM基准测试是为静态任务设计的，而智能体的多步操作特性打破了这一假设。因此，评估必须从对单次函数调用的打分，演进为对整个任务完成的打分，其中工具调用是底层的连接组织。

文章提出，完整的智能体评估需要一个能够执行每个工具调用、跨步骤跟踪状态并在事后读取世界以决定工作是否完成的全执行环境。在此基础上，存在两层评分机制：步骤级（过程评分）询问在当前状态下该调用是否有效、相关且有用；端到端（结果评分）则忽略路径，仅检查最终状态是否符合目标。步骤级评分有助于调试和定位微调努力的方向，因为它能揭示链条在哪里断裂；而端到端评分反映了用户实际体验到的结果，因为它是将第一步的失败和第九步的失败都折叠为“任务失败”的唯一指标。大多数生产评估将发布门槛设在端到端评分上，同时保留步骤级追踪用于调试。

为了系统地衡量这些表现，文章定义了一个固定的层级结构：基准 → 试验 → 任务 → 轮次 → 步骤。核心指标被归纳为三个轴：准确性、冗长性和成本。例如，“任务成功率”作为发布门槛，需要结合“一致性”（多次试验中的成功率范围）一起报告，以避免点估计的误导；“工具调用精度”和“参数准确性”则分别揭示了幻觉名称/多余调用和错误填充槽位的问题。此外，“每次成功的步骤数”和“每次成功的成本”量化了效率和经济性。文章强调，并行工具调用可以减少步骤数和延迟，但不会减少调用次数，因此在汇总数据时必须按顺序处理，不能简单平均。

在解读评估结果时，文章警告说，两个声称测试工具调用的基准可能产生不可比较的数字。差异主要源于三个维度：任务复杂性（单轮还是多轮）、状态性（环境是否随动作更新）以及方法论（可执行验证优于参考基准或LLM-as-a-Judge）。可执行验证（如数据库是否更新、测试是否通过）被视为金标准，而LLM-as-a-Judge仅在无法进行可执行检查时作为临时补充，需经人类评级验证。针对污染问题，文章建议企业构建基于真实工单、追踪记录和API的领域特定评估，并以环境状态而非孤立调用准确性作为门槛。

最后，文章以Nemotron 3.5 Lightning为例展示了这一框架的应用。该模型在PinchBench上达到86%的准确率，同时在可比准确率下比Qwen3.6 35B快30%完成任务，证明了高效完成任务的模型优于在孤立准确率上得分更高但消耗更多步骤和令牌的模型。对于企业而言，公开分数只是信号，不应作为发布门槛；真正的决策应基于适配自身任务和用例的领域评估，确保智能体能在“你的”任务、“你的”API和“你的”策略下完成工作。