AI推理基础设施公司Rebellions与汉阳大学发现FP4推理失效源于低熵位置采样误差，ReQAT使4-bit全量化匹配BF16精度

硬件对4位浮点格式的支持已经走在模型容忍度前面。FP4计算核心正在出货，MXFP4和NVFP4等微缩放格式让4位浮点激活变得可行，但推理模型——那些生成超长思维链以解决数学问题的模型——恰恰是精度最先崩溃的地方。Rebellions与汉阳大学在ICML 2026口头报告论文中提出了一个反直觉的解释：FP4对推理的损害主要发生在模型最自信的位置，而非最犹豫的分支点。

研究团队最初假设微调预算不够是瓶颈。他们在R1-Llama-8B上将微调轮数从一轮提高到五轮，PTQ后的精度下降仍然停留在11到15个点，说明问题不在训练量。于是他们转向分析推理轨迹中量化误差出现的位置，方法是追踪每个解码步骤的下一词分布熵。将超过150万个生成词按熵分组后得到两个群体：低熵词约占轨迹的80%，主要是数字、变量名和运算符，模型几乎确定性地预测它们；高熵词是Then、Let、Hmm这类话语标记，出现在推理路径分叉处。

按照直觉，高熵位置才是敏感点——那里一个小扰动就可能改变top-1词。但两个受控实验给出了相反答案。第一个实验按熵值将每个预测路由到BF16或FP4模型：只把低熵词交给BF16就恢复了大部分丢失的精度，只把高熵词交给BF16则几乎没有帮助。第二个实验向logits注入高斯噪声作为量化误差的代理：噪声施加在最低熵的25%位置导致AIME-2025精度急剧下降，施加在最高熵的25%位置影响小得多。这一模式在R1-Qwen-7B、R1-Qwen-14B以及更新的Qwen3-4B和Qwen3-8B上均成立。

机制藏在分布尾部。在低熵区间，FP4很少改变top-1词，但top-1之外的概率质量相对BF16显著增长。贪心解码下这几乎没有影响，但生产服务使用温度采样，每个位置都有微小的概率跳到错误词。一条推理轨迹有数千个位置，一个错误的数字或运算符通常使后续推导全部作废。高熵位置的扰动则大多只改变措辞而不改变最终答案。研究团队将这一发现概括为：FP4推理失效的主导原因是模型最自信位置上的采样误差增大，而标准QAT对所有词施加均匀损失，并未针对这一失效模式。

ReQAT框架据此设计了三个组件。轨迹对齐QAT（TAQ）分两阶段：先用BF16在推理数据集上微调，再对Stage 1所用轨迹的子集启用量化噪声进行QAT。追踪训练过程中的词熵发现，单独微调或单独QAT主要改变高熵区间，而先微调再对相同轨迹做QAT同时改变了低熵区间——模型在阶段一已经学会了每条轨迹，阶段二的梯度因此作用在量化使脆弱的低熵预测上。在R1-Qwen-14B的MXFP4 W4A16设置下、3.5亿词预算中，不对齐轨迹的两阶段训练将AIME精度从62.29%提到62.60%，轨迹对齐则提到67.29%。

选择性熵最小化（SEM）在SFT损失中加入一项熵最小化，仅施加于每个批次中最低熵的75%词，权重随熵降低而增大，最高熵的25%被排除以保持分支点的原始分布。TAQ在W4A4下恢复了大部分精度，但KV缓存量化到4位后精度再次下降，这指向QAT的初始化问题。Q-FIT对每层联合校准两种已知变换——RoPE前的通道对缩放和RoPE后的逐通道偏移——以最小化BF16与4位KV注意力输出的差异。单独使用任何一种变换在消融实验中都没有可靠增益，联合校准将NVFP4 W4A4KV4精度从63.13%提升到65.94%。

在R1-Qwen-14B上以OpenThoughts3数学子集微调、AIME-120评测（AIME 2022至2025，8个种子平均），相同总预算下各方法的结果为：BF16基线56.83%，BF16全量微调65.46%，NVFP4 W4A4KV4直接PTQ仅50.13%，标准QAT为58.86%，ReQAT达到65.94%——略高于BF16全量微调。BF16微调和QAT都在约2.8亿词处饱和，ReQAT则随预算继续提升，在所有测试设置中均达到最高精度，包括与AWQ、QuaRot、FlatQuant和QAD的对比。