Arize AI工程师Ankur Duggal:利用技能与CLI评估并修复金融AI代理
在AI Engineer频道于2026年10月11日发布的视频《Let Your Agent Cook: Using Skills to Evaluate and Improve Your App》中,Arize AI的工程师Ankur Duggal展示了一种通过编程代理来诊断和改进LLM应用的工作流。视频以一个金融代理为例,该代理生成了看似合理但实际缺乏足够上下文支持的投资建议,且其自身的评估系统已标记出错误摘要、重复工具调用和虚构答案等问题。
Duggal演示了如何通过Arize的命令行界面(CLI)和技能(skills)将这些失败现象与编码代理连接起来。编码代理被要求调查追踪数据(traces),识别监督代理、专家代理、模型调用和工具之间的具体交互。这一过程将模糊的质量抱怨转化为关于确切失败步骤的证据。例如,在一个针对美国以外股票查询的早期实验中,Duggal指出仅更改国家上下文是不够的,必须同时更新底层工具才能解决问题。
视频还讨论了如何利用数据集、评估器和实验技能使提出的修复方案变得可测试,而不是进行一系列未经验证的编辑。Duggal回答了关于本地实验执行、评判模型选择、评估成本、采样策略以及编码代理可能将精力浪费在代码检查(linting)而非实际缺陷上的风险等问题。截至视频结束,实时修复仍在进行中。
对于希望提高AI代理可靠性的开发者而言,此资源提供了具体的操作视角。Duggal建议对提议的更改进行人工审查,并根据应用的具体失败模式定制评估体系,从而确保在流量模式和基础模型发生变化时,能够及时检测到性能回归。
信息源:youtube.com