加拿大航空AI负责人Nathanael Weill：无基准时如何测试智能体
加拿大航空AI团队负责人Nathanael Weill在AIE CODE播客中分享了在缺乏公开基准和专家时间时的智能体测试策略。他提出“先写答案再生成输入”的反向测试法，并介绍了在供应商合同审查等场景中构建测试集的多种方法及避免使用LLM作为裁判的原则。
在垂直领域部署AI智能体常面临一个困境：任务过于特定，没有现成的公开基准可供参考，而领域专家又无暇频繁进行人工评分。加拿大航空（Air Canada）负责构建AI智能体的团队负责人Nathanael Weill在近期的AIE CODE播客节目中，针对这一痛点分享了他的工程实践思路。
Weill提出的核心方法是“反向测试”：不从输入开始猜测输出，而是先确定一个已知的正确答案，然后基于该答案生成对应的输入数据，最后检查智能体能否通过处理该输入找回原始答案。据节目简介描述，这一方法曾帮助其过往的一个RAG项目将每周一次的人工专家测试频率提升至每天数十次自动化测试。
此外，Weill还以供应商合同审查智能体为例，列举了构建测试集的五种途径，包括利用历史决策、植入规则违规项、移除关键条款、引入不应影响结果的变更以及使用填空式合同模板。他强调，在代码能够直接验证结果的情况下，应尽量避免使用大型语言模型（LLM）作为评判者，以提高测试的确定性和效率。