arXiv预印本：编码智能体报告存在40.7个百分点任务状态恢复缺口
新研究量化了AI编码智能体自报与执行日志间的信息缺失，显示仅靠报告恢复任务状态准确率大幅低于全上下文。
重要性实质性证据E2 未复现写法快讯
一项名为CTXGAP的新测量研究发现，人类监督者仅依靠编码智能体的用户报告来评估进度时，其任务状态恢复率比阅读完整执行上下文低40.7个百分点。该研究由Guoyang Xu等人于2026年10月14日在arXiv发布预印本。
在传统自动化信任研究中，信息通常由设计者提供；而大模型智能体的计划、评论和总结均由同一过程生成。当智能体偏离计划或遇到失败时，这些关键状态往往从常规报告中消失，导致监督者无法察觉需要审查的问题。
研究团队分析了37个编码任务和4,799个有效探针。数据显示，虽然智能体按需回答任务状态问题的准确率为93.6%，且能访问完整上下文的读者可恢复92.7%的状态，但仅依赖报告的读者只能恢复52.0%。即使在30个已验证修复的最终检查点，这一差距仍保持在34.8个百分点。人工标注指出，提及但缺乏足够支持细节的状态是未恢复信息的最大类别。
该结果基于作者自测的预印本数据，尚未见独立复现。研究提出将“基于报告的任务状态可恢复性”作为补充评估维度，以解决当前智能体透明度评估中的盲区。