Cohere提出CALIBER：推理模型的一个置信度数字混淆了两个不同问题

掷两个公平骰子，点数之和至少为10的概率是多少？模型先犹豫，再数出三种和为10、两种和为11、一种和为12的组合，共六种，除以三十六，得到六分之一。在这个例子中，模型的置信度从25%上升到88%——这不是骰子结果的概率，而是它对自己答对的信心。推理过程改变了它的评估。

但置信度也可能下降。一个看起来简单的解法，推理到一半可能暴露错误假设或矛盾。有用的置信度估计应当能反映这种变化，即使模型最终仍然答错。然而，标准的推理模型并不天然具备这种能力：生成详细的推理过程并不保证模型能可靠地评估和传达自己的不确定性。

AI公司Cohere在2026年10月20日发布的CALIBER方法正是针对这个问题。其核心论点可以用一句话概括：一个置信度数字隐藏了两个不同的问题。

推理之前，模型只看到了题目。它能识别主题，判断这个问题看起来是否可处理。此时它的置信度回答的是：'我解出这道题的可能性有多大？'推理之后，它手里有了一个具体的东西可以评估：它实际产出的那个解法。此时的问题变成：'这个答案正确的可能性有多大？'

这两个预测相关，但用途不同。初始置信度告诉用户模型是否预期能处理这个问题；最终置信度帮助用户判断这个具体回答是否需要更仔细的审查。模型可能经常解出这类题却在这一次犯错，也可能谨慎地面对一道难题，然后找到一个自己能验证的解法。

CALIBER的训练机制直接体现了这种分离。初始置信度的训练目标来自多次尝试：让模型对同一道题试做若干次，如果十次中七次成功，70%就成为训练目标。这反映的是当前模型解出这道题的频率，在不知道它会产生哪一次尝试之前。最终置信度的训练目标则不同：它只关心这一次具体答案是否正确。同一道题的成功尝试和失败尝试共享相同的初始置信度目标，却获得不同的最终置信度目标。

为什么不能只报告一个数字？Cohere用一个思想实验说明：假设一个模型70%的题目答对，每次报告70%的置信度。它的置信度与整体准确率完美匹配——但如果你只有时间抽查几个答案，这些相同的分数无法帮你选择查哪些。另一个模型同样70%的准确率，却对一半答案报90%、对另一半报50%。如果这两组分别有90%和50%的正确率，这个模型同样是校准的，但它的置信度更有用：它帮你把检查精力集中在更可能出错的答案上。

因此评估需要同时看两个性质：期望校准误差（ECE）衡量置信度是否匹配观测准确率——被赋予大约80%置信度的答案中，大约80%应该正确；AUROC衡量正确答案是否倾向于获得比错误答案更高的置信度。ECE越低、AUROC越高越好。

在Cohere自报的结果中，7B模型在30000道数学题上训练，在1000道保留题和三个问答基准上评估。在BigMathDigits数据集上，CALIBER的ECE从最强单置信度基线的0.059降至0.028，降低52.5%。AUROC达到0.806，Brier分数0.130。更值得注意的是泛化：无需额外训练或任务特定的检查点选择，7B模型在GPQA上降低26.8%的校准误差，在TriviaQA上降低32.2%，在SimpleQA上降低36.2%。

30B的结果则展示了为什么两个指标必须一起看。在BigMathDigits上，CALIBER的ECE（0.022）只比CoCA-lite（0.023）略好，但AUROC差距巨大：0.797对0.508。其他基线在AUROC上略高于CALIBER，所以收益取决于你衡量哪个性质。

两个估计的差值本身也有信息。在BigMathDigits上，7B模型对正确答案的平均置信度从推理前的78.5%升至推理后的83.5%，对错误答案则从62.6%降至54.5%。在其他数据集上，它有时对两组都降低置信度，但对错误答案降幅更大。因此置信度的上升或下降是上下文而非判决：两个最终都停在70%的答案表达了相同的正确概率估计，即使一个从低处升上来、另一个从高处降下来。