资讯1 分钟阅读·
S2 Lab提出U-lens:结合J-lens与熵的单次前向推理不确定性估计方法,自测优于12种基线
S2 Lab发布开源代码,提出U-lens方法,通过构建隐藏状态中的四个不确定性方向并结合平均熵,在三个模型和四个基准测试中自测显示能更准确区分正确与错误答案。
重要性实质性证据E2 未复现写法快讯
S2 Lab的研究人员Virginia Ceccatelli、Xiaoyu Liang和Tobias Braun于2026年10月17日发布了名为U-lens的不确定性估计方法。该方法旨在无需训练标签且仅需单次前向传播的情况下,实时监测大型语言模型(LLM)在推理过程中的置信度。
研究团队基于Anthropic提出的全局工作空间理论和J-lens技术,在模型的隐藏状态空间中构建了四个正交方向:模糊性(ambiguity)、不完整性(incompleteness)、冲突证据(conflicting evidence)和一般不确定性(general uncertainty)。这四个方向共同构成了“U-space”。通过将模型隐藏状态与这些方向的对齐程度,以及模型生成下一个token时的平均熵相结合,U-lens产生一个标量分数来指示答案出错的概率。
据作者自测,在三个推理模型和四个基准测试上,U-lens在区分正确答案与错误答案方面优于其他12种测试方法。即使控制了推理轨迹的长度以排除长度混淆因素,该方法仍保持有效。此外,初步实验表明,类似的方向读出机制也可用于识别情绪和奖励黑客行为。代码已开源。
该结果目前为第一方基准测试(E2),尚未经过独立复现。作者指出,虽然实验可复现,但该方法能否成为更广泛的模型监控工具仍是一个开放问题。