硬件对4位浮点格式的支持已经走在模型容忍度前面。FP4计算核心正在出货,MXFP4和NVFP4等微缩放格式让4位浮点激活变得可行,但推理模型——那些生成超长思维链以解决数学问题的模型——恰恰是精度最先崩溃的地方。Rebellions与汉阳大学在ICML 2026口头报告论文中提出了一个反直觉的解释:FP4对推理的损害主要发生在模型最自信的位置,而非最犹豫的分支点。
研究团队最初假设微调预算不够是瓶颈。他们在R1-Llama-8B上将微调轮数从一轮提高到五轮,PTQ后的精度下降仍然停留在11到15个点,说明问题不在训练量。于是他们转向分析推理轨迹中量化误差出现的位置,方法是追踪每个解码步骤的下一词分布熵。将超过150万个生成词按熵分组后得到两个群体:低熵词约占轨迹的80%,主要是数字、变量名和运算符,模型几乎确定性地预测它们;高熵词是Then、Let、Hmm这类话语标记,出现在推理路径分叉处。
按照直觉,高熵位置才是敏感点——那里一个小扰动就可能改变top-1词。但两个受控实验给出了相反答案。第一个实验按熵值将每个预测路由到BF16或FP4模型:只把低熵词交给BF16就恢复了大部分丢失的精度,只把高熵词交给BF16则几乎没有帮助。第二个实验向logits注入高斯噪声作为量化误差的代理:噪声施加在最低熵的25%位置导致AIME-2025精度急剧下降,施加在最高熵的25%位置影响小得多。这一模式在R1-Qwen-7B、R1-Qwen-14B以及更新的Qwen3-4B和Qwen3-8B上均成立。
机制藏在分布尾部。在低熵区间,FP4很少改变top-1词,但top-1之外的概率质量相对BF16显著增长。贪心解码下这几乎没有影响,但生产服务使用温度采样,每个位置都有微小的概率跳到错误词。一条推理轨迹有数千个位置,一个错误的数字或运算符通常使后续推导全部作废。高熵位置的扰动则大多只改变措辞而不改变最终答案。研究团队将这一发现概括为:FP4推理失效的主导原因是模型最自信位置上的采样误差增大,而标准QAT对所有词施加均匀损失,并未针对这一失效模式。
ReQAT框架据此设计了三个组件。轨迹对齐QAT(TAQ)分两阶段:先用BF16在推理数据集上微调,再对Stage 1所用轨迹的子集启用量化噪声进行QAT。追踪训练过程中的词熵发现,单独微调或单独QAT主要改变高熵区间,而先微调再对相同轨迹做QAT同时改变了低熵区间——模型在阶段一已经学会了每条轨迹,阶段二的梯度因此作用在量化使脆弱的低熵预测上。在R1-Qwen-14B的MXFP4 W4A16设置下、3.5亿词预算中,不对齐轨迹的两阶段训练将AIME精度从62.29%提到62.60%,轨迹对齐则提到67.29%。
选择性熵最小化(SEM)在SFT损失中加入一项熵最小化,仅施加于每个批次中最低熵的75%词,权重随熵降低而增大,最高熵的25%被排除以保持分支点的原始分布。TAQ在W4A4下恢复了大部分精度,但KV缓存量化到4位后精度再次下降,这指向QAT的初始化问题。Q-FIT对每层联合校准两种已知变换——RoPE前的通道对缩放和RoPE后的逐通道偏移——以最小化BF16与4位KV注意力输出的差异。单独使用任何一种变换在消融实验中都没有可靠增益,联合校准将NVFP4 W4A4KV4精度从63.13%提升到65.94%。
在R1-Qwen-14B上以OpenThoughts3数学子集微调、AIME-120评测(AIME 2022至2025,8个种子平均),相同总预算下各方法的结果为:BF16基线56.83%,BF16全量微调65.46%,NVFP4 W4A4KV4直接PTQ仅50.13%,标准QAT为58.86%,ReQAT达到65.94%——略高于BF16全量微调。BF16微调和QAT都在约2.8亿词处饱和,ReQAT则随预算继续提升,在所有测试设置中均达到最高精度,包括与AWQ、QuaRot、FlatQuant和QAD的对比。
匹配BF16精度意味着FP4的吞吐量优势可以直接兑现。在单张NVIDIA B200上,以1000个512词提示请求、批处理上限256、KV缓存分配至内存极限的条件下测量端到端输出词吞吐量:2K输出长度时NVFP4相对BF16约1.8至1.9倍,这反映的是4位GEMM本身的计算优势;8K输出长度时BF16因KV缓存增长无法维持同等批大小而NVFP4可以,加速超过3倍,ReQAT在计入Q-FIT的4至5%开销后仍达到3.05倍。对长推理输出而言,FP4的大部分收益来自KV缓存压缩允许的大批大小,因此保持4位KV缓存的精度是推理工作负载上兑现FP4效率的必要条件。
这项工作的核心认识可以脱离具体模型和格式来理解:训练信号投向哪里比投多少更重要——在预算内增加词数或轮数并未缩小FP4差距,而瞄准低熵位置做到了。代码和训练配方已在github.com/aiha-lab/ReQAT公开。
信息源:Rebellions