Idiap等机构发布DialFork基准：对话智能体“程序性幻觉”首获量化评估

Idiap研究所与Telefónica等机构联合团队发布了DialFork，这是首个专门用于衡量对话智能体“程序性幻觉”的基准测试。该研究于2026年10月15日提交至arXiv。

传统的大模型幻觉评估主要关注生成内容的事实错误，但在客服、调度或临床问诊等场景中，智能体往往需要严格遵循预设的步骤序列。程序性幻觉是指智能体生成的每一句话在语法和事实上都看似合理，但整体对话却偏离了预期的处理流程，例如跳过必要步骤或重复已完成动作。

DialFork包含36,278段对话，覆盖24个任务和12个领域，由30名人工标注员验证构建。研究团队提出了FlowKL和FlowScore两种基于对话流而非内容的距离度量方法。实验显示，在七种不同的编码器上，FlowScore在检测单个对话的流程偏离方面显著优于所有基线模型，证明了语义相似度无法替代对对话展开方式的评估。

目前该结果属于作者自测，尚未经过独立复现。代码和数据集已在GitHub以MIT许可证开源。