Arize AI 的 Laurie Voss 演示如何通过提供研究上下文修正 LLM 评估偏差
在 AI Engineer 频道发布的视频中，Arize AI 的 Laurie Voss 展示了一个金融分析代理案例：LLM 正确性判断器因缺乏实时网络研究上下文而拒绝了所有报告。Voss 指出，将收集到的来源提供给忠实度评估器可产生更有效的结果划分。该工作坊还涵盖了使用 Claude Agent SDK 构建代理、通过 OpenTelemetry 和 OpenInference 进行仪器化追踪，以及编写自定义可操作性评分标准的方法。
Arize AI 的 Laurie Voss 在 AI Engineer 频道发布的工作坊视频中，探讨了如何从“凭感觉”（vibes）转向生产级的 AI 代理评估。视频描述了一个具体案例：一个基于 Claude Agent SDK 构建的金融分析代理生成了 13 份报告，但 LLM 正确性判断器全部予以拒绝。Voss 分析发现，问题在于代理使用了实时网络研究，而判断器仅基于其自身知识进行评估，缺乏必要的研究上下文。
为了解决这一偏差，Voss 展示了如何将代理收集到的来源数据提供给忠实度评估器。这一调整产生了更有用的结果划分：六份报告被判定为忠实，七份为不忠实。除了修正判断器，工作坊还介绍了如何使用 OpenTelemetry 和 OpenInference 对代理进行仪器化，并将追踪数据发送到 Arize AX。通过阅读这些实际追踪数据，开发者可以识别出文件写入失败、报告内容缺失以及过度网络搜索等具体问题。
此外，Voss 还演示了如何构建自定义的可操作性评分标准，包括明确的标准、标记的输入、示例和二元标签。每个评估器只检查一个维度，从而使得失败能够精确定位需要关注的部分。人类注释被用作比较集来评估判断器，其中故意设置的随机演示标签说明了如何调查分歧。整个流程强调了在自动化评分之前，先阅读实际追踪数据并定义成功标准的核心实践。