资讯1 分钟阅读·
IBM发布智能体一致性分析：平均成功率77.4%，连续五次全成只有53%
只报平均成功率会高估智能体可靠性，IBM把“连续全成”单列为指标；下一步看第三方能否在其他模型和基准上复现。
IBM研究团队9月15日在Hugging Face博客介绍ALTK-Evolve的一致性分析工具（公司自述）。其AppWorld实验中，GPT-4.1智能体的平均成功率为77.4%，但同一任务连续五次都成功的比例只有53%。工具从执行轨迹中识别易变的决策，生成可复用指引。结果出自特定模型和基准，尚不能证明生产环境同样可靠；它给出的直接启示是，平均成功率与重复执行的稳定性应分开测量。