arXiv预印本：Kolab基准显示前沿AI模型高估与专家协作质量

一项名为Kolab的新基准测试发现，当前前沿AI模型在与人类专家进行长周期任务协作时，普遍高估了自身的协作效果，并且难以区分高质量与低质量的协作过程。

现有的AI智能体基准大多侧重于测试模型独立完成特定任务的能力（即自动化），但真实的职业工作流往往包含相互依赖的步骤，人类更看重与AI的持续互动（如修改计划）而非单次尝试的成功率。这种评估视角的缺失导致模型在复杂协作场景中的表现被误判。

研究人员收集了来自40个不同职业的50名专业人士与AI智能体协作处理现实长周期问题的超过115小时屏幕录制数据，并记录了参与者对协作过程和输出质量的判断。分析显示，无论是具备智能体功能还是非智能体功能的前沿模型，都未能准确预测专家是否会采纳、修改或拒绝其贡献，也无法在没有持续专家反馈的情况下自行评估协作质量。此外，提供更长的工作流上下文并不能一致地改善这些预测。

该结果目前仅基于论文摘要，具体量化指标和实验细节需查阅全文。由于是预印本，尚未经过同行评审或独立复现。