预印本提出Doc2Harness：首个评估大模型构建智能体运行框架能力的基准测试

Doc2Harness提出了首个用于衡量大语言模型（LLM）进行长周期“外壳工程”（harness engineering）的确定性基准测试。与现有仅评估固定环境下任务成功率的基准不同，该研究直接测试模型构建和配置智能体运行基础设施的能力，这是实现自主代理长期稳定运行的关键瓶颈。

在包含19个前沿模型的测试中，每个模型独立构建三次并针对328个测试用例进行评估。结果显示，GPT-6 Astra取得了最高的53.05%通过率，而最弱模型仅为27.44%，两者相差约26个百分点。值得注意的是，即使是最强的模型也在近一半的测试用例中失败，且错误主要集中在跨模块功能分割上。

该结果由论文作者团队自测得出，属于预印本阶段（arXiv:2610.20344），尚未经过独立复现验证。