Arize AI工程师Ankur Duggal：利用技能与CLI评估并修复金融AI代理
在AI Engineer频道发布的视频中，Arize AI的Ankur Duggal演示了如何使用Arize的CLI和技能连接编码代理，以调查金融AI代理的失败轨迹、修改应用并运行实验。视频展示了一个看似合理但缺乏上下文的金融建议案例，通过追踪揭示了底层代理决策中的数值接地问题和虚构响应。Duggal强调，更改国家上下文不足以解决国际股票查询问题，必须更新底层工具，并建议使用数据集、评估器和实验技能使修复可测试。他推荐人工审查提议的更改，并根据应用的特定失败模式定制评估，以便在流量和模型变化时检测回归。
在AI Engineer频道于2026年10月11日发布的视频《Let Your Agent Cook: Using Skills to Evaluate and Improve Your App》中，Arize AI的工程师Ankur Duggal展示了一种通过编程代理来诊断和改进LLM应用的工作流。视频以一个金融代理为例，该代理生成了看似合理但实际缺乏足够上下文支持的投资建议，且其自身的评估系统已标记出错误摘要、重复工具调用和虚构答案等问题。
Duggal演示了如何通过Arize的命令行界面（CLI）和技能（skills）将这些失败现象与编码代理连接起来。编码代理被要求调查追踪数据（traces），识别监督代理、专家代理、模型调用和工具之间的具体交互。这一过程将模糊的质量抱怨转化为关于确切失败步骤的证据。例如，在一个针对美国以外股票查询的早期实验中，Duggal指出仅更改国家上下文是不够的，必须同时更新底层工具才能解决问题。
视频还讨论了如何利用数据集、评估器和实验技能使提出的修复方案变得可测试，而不是进行一系列未经验证的编辑。Duggal回答了关于本地实验执行、评判模型选择、评估成本、采样策略以及编码代理可能将精力浪费在代码检查（linting）而非实际缺陷上的风险等问题。截至视频结束，实时修复仍在进行中。
对于希望提高AI代理可靠性的开发者而言，此资源提供了具体的操作视角。Duggal建议对提议的更改进行人工审查，并根据应用的具体失败模式定制评估体系，从而确保在流量模式和基础模型发生变化时，能够及时检测到性能回归。