资讯专题 · 纳什解码1 分钟阅读2026-10-07

纳什解码让小模型赢过大模型

预印本称纳什解码使掩码模型在问答上超越18倍大的自回归模型，代价是更多算力。

重要性实质性证据E2 未复现写法快讯

2026-10-06 12:00

纳什解码让掩码语言模型在问答任务上超越参数量达18倍的自回归模型。

该预印本将文本修订建模为多人博弈，每个Token位置为玩家，目标是最大化联合概率下的纳什均衡。在CLAPNQ、PubMedQA和CoQA上，作者自测发现掩码模型（可并行预测所有位置）经纳什解码后F1和ROUGE分数高于自回归模型（逐词生成）中18倍大的模型，无需微调，但测试时计算量显著增加。尚无独立复现。

来源

原始出处arxiv.org

专题

纳什解码

【背景】掩码语言模型（MLM）通常需微调才能用于生成任务，而自回归模型（如GPT系列）虽能直接生成但存在单向依赖局限。2026年10月，一项名为“纳什解码”（Nash Decoding）的新研究声称通过博弈论框架打破了这一僵局。

4 节点1 篇更新于 2026-10-07 20:14

事情怎么走到这一步

2019-11-01Mask-Predict提出基于掩码语言模型的并行解码策略，在机器翻译中接近自回归模型性能，奠定了非自回归生成的基础。
2020-07-01Salazar等人证明伪对数似然（PLL）评分使预训练掩码模型在无微调情况下优于GPT-2，揭示了掩码模型在语言接受度判断上的潜力。
2026-07-01Zhong等人评估主流掩码扩散模型，发现其因并行建模削弱Token依赖而在复杂推理任务上落后于自回归模型，提出“先生成后编辑”范式以缓解此问题。