英伟达智能体评估框架

英伟达近期密集发布技术博客与文档，确立了以**执行轨迹（Execution Trace）**为核心的AI智能体评估体系。该体系旨在解决传统LLM基准测试无法衡量多步任务完成度的问题，通过NVIDIA NeMo Relay捕获Hermes Agent等智能体的运行数据，区分“成功恢复”与“低效挣扎”。

【背景】仅看最终结果无法判断框架变更是否真正优化了性能，因为正确的答案可能隐藏了高延迟和高Token消耗的冗余步骤。

英伟达提出两层评分机制：步骤级过程评分用于调试链路断裂点，端到端结果评分用于验证环境状态是否达成目标。配套工具如SkillEvaluator提供三层验证：Tier 1检查安全性与规范性，Tier 2检测语义重叠，Tier 3通过沙箱实测技能对智能体行为的提升效果（Skill Lift）。