InfiFPO融合方法

InfiFPO是一种针对大语言模型偏好对齐阶段的隐式模型融合方法，旨在解决现有融合技术丢弃源模型概率信息的问题。该方法由香港理工大学杨红霞团队提出，被NeurIPS 2025接收为Spotlight论文。

【背景】传统模型融合多集中于监督微调（SFT），而在关键的偏好对齐（PA）阶段，现有方法如WRPO仅使用源模型的响应输出，忽略了其内部概率分布，导致知识蒸馏不完整。InfiFPO通过序列级概率合成替代DPO中的参考模型，避免了复杂的词汇表对齐挑战，同时保留了概率信息。

实验数据显示，当以Phi-4作为枢轴模型时，InfiFPO使其在11项基准测试中的平均分从79.95提升至83.33，尤其在数学、编码和推理任务上表现显著。该方法是“三壁”突破策略的一部分：先通过InfiFusion解决词汇不匹配，再通过InfiGFusion处理结构冲突，最后由InfiFPO完成价值与偏好的安全对齐。

目前GitHub仓库已发布代码框架和Hugging Face模型权重，但核心训练实现文件尚未完全公开，复现需等待官方补充配置。