新研究提出“可及性”指标：大模型基准测试或掩盖能力稳定性差异
arXiv预印本研究提出“可及性”概念，指出平均准确率相同的模型在应对不同提问方式时，其成功率的稳定性和广度可能存在显著差异，挑战了传统单一固定措辞的评估范式。
重要性实质性证据E2 未复现写法快讯
一项发表于arXiv的预印本研究《Revealing what benchmark scores hide: Jointly measuring the breadth and reliability of LLM capabilities using accessibility profiles》提出了一种名为“可及性”（Accessibility）的新评估指标，旨在解决传统大语言模型基准测试中仅使用单一固定措辞导致的信息丢失问题。
研究团队由Kazem Faghih等人组成，他们指出，同一个底层请求可以有多种语义等价的表达方式，而模型在这些不同表达上的表现往往不一致。传统的准确率、最佳情况或平均情况分数无法反映这种分布结构。“可及性”被定义为模型在多种同义表述下成功回答的概率。
通过对六个基准测试和二十多个模型的实验分析，研究发现这一权衡现象普遍存在：对于约一半平均“可及性”相近的模型对，哪个模型看起来更好取决于任务是否允许重试。如果只需五次尝试中有一次成功即可（Access@5），一个模型可能更优；但如果要求五次尝试全部成功（Reliable@5），另一个模型则表现更佳。在某些情况下，这两种度量标准的结果甚至相差10个百分点。
该研究还表明，规模扩展、推理能力和提示词优化可能会重新分配模型在不同查询上的能力，有时虽然扩大了模型能成功处理的查询范围，却降低了这些成功的可重复性。这一发现将提示词敏感性从一个干扰因素转化为可测量的能力属性，帮助区分模型“有时能做到什么”与用户“实际能依赖什么”。