纳什解码让小模型赢过大模型

纳什解码让掩码语言模型在问答任务上超越参数量达18倍的自回归模型。

该预印本将文本修订建模为多人博弈，每个Token位置为玩家，目标是最大化联合概率下的纳什均衡。在CLAPNQ、PubMedQA和CoQA上，作者自测发现掩码模型（可并行预测所有位置）经纳什解码后F1和ROUGE分数高于自回归模型（逐词生成）中18倍大的模型，无需微调，但测试时计算量显著增加。尚无独立复现。