分层舍入策略

【背景】在Transformer模型的低精度推理中，单一舍入规则往往导致性能显著下降。最新研究提出“分层舍入策略”，即根据网络不同部位的特性混合使用随机舍入（SR）和就近舍入（RN）。

研究发现，在DistilGPT-2的6位精度测试中，若全网络统一使用就近舍入，困惑度劣化达2.21倍；而采用分层策略——在多层感知机（MLP）层使用随机舍入、在输出头使用就近舍入——可将困惑度劣化控制在1.10倍以内，相比统一就近舍入降低28%。

其核心逻辑在于：MLP层的噪声主要表现为均匀的logit偏移，softmax对其不敏感，因此随机舍入引入的方差被大幅抵消；反之，输出头的噪声在词汇表上分布不均，随机舍入会引入不可忽略的非均匀方差，故需使用无方差的确定性就近舍入。这一发现打破了“低精度推理应统一采用某种舍入模式”的惯例，为硬件实现更高效的量化推理提供了算法依据。