阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · InfiFPO融合方法1 分钟阅读·2026-10-09DisconfirmAI 编辑部

InfiFPO助Phi-4均分升3.4

新融合方法让Phi-4在11项基准测试中平均分从79.95升至83.33。

重要性实质性证据E2 未复现写法快讯

原文发布时间 2026-10-09 12:00

InfiFPO方法将Phi-4在11项基准测试的平均分从79.95提升至83.33。

传统模型融合多聚焦监督微调,常丢弃源模型的概率信息。InfiFPO在直接偏好优化(DPO)中用融合源模型替代参考模型,保留并合成多源概率。

该方法引入概率裁剪与最大边际融合策略,在保持人类偏好对齐的同时有效蒸馏知识。实验显示其在数学、编码及推理任务上表现显著提升。

此为NeurIPS 2025接收论文的作者自测结果,尚待社区独立复现。

来源

  • 原始出处arxiv.org↗
专题

InfiFPO融合方法

InfiFPO是一种针对大语言模型偏好对齐阶段的隐式模型融合方法,旨在解决现有融合技术丢弃源模型概率信息的问题。该方法由香港理工大学杨红霞团队提出,被NeurIPS 2025接收为Spotlight论文。

3 节点1 篇更新于 2026-10-09 13:24

事情怎么走到这一步

  1. 2025-06-12港理工PAAI新闻稿介绍InfiFusion框架,指出大模型融合的三大障碍及对应解决方案,其中InfiFPO负责偏好对齐。
  2. 2025-05-20arXiv提交v1版本论文《InfiFPO: Implicit Model Fusion via Preference Optimization in Large Language Models》。
登录 / 注册
阅读研究雷达投资体系
  • 2026-10-09论文更新至v4版本,确认NeurIPS 2025录用状态,并详细披露Phi-4在11项基准上的性能提升数据(79.95至83.33)。
  • 还没定论的部分

    • GitHub仓库中缺失的`fpo/run.py`和配置文件何时会完整开源?
    • InfiFPO在非Phi-4的其他主流开源模型(如Llama系列)上的泛化能力如何?
    • 序列级概率合成在极大上下文窗口下的计算开销具体是多少?
    读完整专题 →
    带入研究 →