Arize AI产品负责人SallyAnn DeLucia演示AI评估实战工作坊
Arize AI产品负责人SallyAnn DeLucia在AI Engineer World's Fair发表了一场关于从“感觉检查”转向正式AI评估的实操工作坊。内容涵盖评估与单元测试的区别、主要评估类型（如LLM作为裁判）、如何阅读追踪日志以及构建LLM裁判的具体步骤。
Arize AI的产品负责人SallyAnn DeLucia在AI Engineer World's Fair上展示了一场关于AI评估（Eval）的实操工作坊。该资源旨在帮助工程师理解如何从非正式的“感觉检查”（vibe checks）过渡到系统化的评估流程。
根据出版方提供的章节列表，DeLucia详细讲解了评估的定义及其与传统单元测试的区别，并探讨了代理（Agent）为何使评估变得更加复杂。她介绍了多种评估类型，包括使用大语言模型作为裁判（LLM as a judge）、决策模型、代码评估、人工标注以及代理作为裁判等。
工作坊还涵盖了具体的操作技能，如如何阅读追踪日志（trace）、如何定义“好”的标准、编写明确的通过/失败准则，以及如何基于追踪日志构建数据集。最后，她演示了在Arize的提示词游乐场中构建和迭代LLM裁判的过程，并讨论了在线评估等后续步骤。