大模型可及性指标
2 节点1 篇3 来源
马里兰大学计算机系研究团队于2026年10月发布预印本论文，提出“可及性”（Accessibility）这一新指标，旨在揭示传统大模型基准测试中单一固定措辞所掩盖的能力稳定性差异。该研究指出，两个平均准确率相同的模型，在应对不同语义等价提问方式时，其成功率的分布结构可能截然不同：一个可能在更多问题上偶尔成功但不稳定，另一个则在较少问题上持续稳定成功。
【背景】传统评估常将多次尝试的结果坍缩为平均值或最佳/最差值，忽略了“重试友好型”与“依赖可靠型”工作流的本质区别。研究发现，约半数均值接近的模型对，在衡量“五次尝试中至少一次成功”（Access@5）和“五次尝试全部成功”（Reliable@5）时，排名会发生反转，差距可达10个百分点。这意味着，若任务允许无限重试，前者更优；若要求输出必须一致可靠，后者更佳。此外，缩放、推理增强和提示优化可能会重新分配能力，使模型能回答的问题变多，但每次成功的可重复性降低。
事情怎么走到这一步
Kazem Faghih等来自马里兰大学的作者提交arXiv预印本《Revealing what benchmark scores hide》，正式提出“可及性”概念，定义为模型在保持语义不变的多种表述下成功响应的概率。
arxiv.org ↗媒体跟进报道该研究，强调其挑战了传统单一固定措辞的评估范式，指出平均性能相同的模型在实际部署中因“广度”与“可靠性”权衡不同而适用场景迥异。
arxiv.org ↗
还没定论的部分
- “可及性”指标是否会被主流基准测试平台（如Hugging Face Open LLM Leaderboard）采纳为标准评估维度？
- 在实际工程应用中，如何量化“重试成本”以决定是优先选择高Access@5还是高Reliable@5的模型？
- 该研究提出的代码库（github.com/kazemf78/access-eval）能否被第三方复现并验证其在更大规模模型上的普适性？