Kolab协作基准

明尼苏达大学团队发布新基准“Kolab”，揭示当前前沿AI模型在长周期专业工作流中普遍高估了与人类的协作效果，且难以区分高质量与低质量的协作过程。

【背景】传统基准多关注AI自主完成任务的能力，但真实职场中人类更看重持续互动而非单次完成。Kolab基于50名专业人士的115+小时屏幕录制数据，测试AI能否预判专家对其贡献的采纳、修改或拒绝行为，以及评估协作质量。

研究发现，无论是智能体还是非智能体模型，均无法准确理解长周期协作中的动态变化，增加上下文长度并未显著改善预测能力。这与斯坦福大学CollabSkill框架的发现相呼应：后者指出，在真实职业任务中，Claude Code在人机协作排名上超越以自主性能著称的Codex，表明“强自主性”不等于“好协作”。

目前争议在于如何量化“协作技能”。Kolab强调对协作过程的预判，而CollabSkill引入贝叶斯系统分离人与AI的贡献。未来需观察更多基准是否将“人类反馈整合能力”纳入核心指标，以及模型厂商是否会针对此类协作场景进行专门优化。