U-lens不确定性估计

S2 Lab提出了一种名为U-lens的新方法，旨在通过单次前向推理为大型语言模型（LLM）提供可解释的不确定性估计。该方法基于J-lens技术，在模型的隐藏状态空间中构建了四个正交方向：模糊性（ambiguity）、不完整（incompleteness）、冲突证据（conflicting evidence）和一般不确定性（general uncertainty），统称为U-space。通过将模型内部状态与这些方向的对齐程度与平均熵结合，U-lens能够生成一个标量分数，帮助识别可能错误的答案。

【背景】传统不确定性量化方法往往需要多次采样或训练额外组件，且难以揭示不确定性产生的具体原因。U-lens无需标签、无需重复生成，仅凭一次推理即可工作。

在三个开源推理模型（Gemma 4, Qwen3.5, Magistral 1.1）和四个基准测试（MMLU-Pro, Omni-MATH, SuperGPQA, TriviaQA）中，U-lens在区分正确与错误答案方面优于12种基线方法。即使控制了生成长度这一潜在混淆因素，其性能依然稳健。此外，初步测试显示该框架还可用于读取情绪和检测奖励黑客行为。

目前，该方法的代码已开源，并配有交互式演示页面，允许用户直观查看模型在回答特定问题时的内部不确定性路径。尽管其在基准测试中表现优异，但作者指出，该方法能否成为更广泛的模型监控工具仍是一个开放问题。