RLMF元认知强化学习

耶鲁大学自然语言处理团队联合Google Research提出“元认知反馈强化学习”（RLMF），旨在解决大模型高置信度幻觉问题。该方法通过让模型自我评估表现质量作为强化学习信号，使模型表达的不确定性与其内部真实状态对齐（忠实校准）。实验显示，RLMF在忠实校准任务上比标准强化学习提升最高63%，且能保持原有准确率。

【背景】传统校准关注输出正确性，而忠实校准关注模型“自知之明”，即说出的不确定程度是否反映其内部计算的真实置信度。

目前争议在于：虽然RLMF显著提升了校准指标，但其依赖的“内在不确定性估计”本身存在测量噪声，且该方法尚未在大规模工业部署中验证对推理速度的影响。后续需关注COLM 2026会议正式发表后的同行评审意见，以及GitHub仓库中针对更多开源模型（如Qwen系列）的复现结果。