混合递归架构
5 节点1 篇4 来源
谷歌DeepMind联合KAIST AI等机构推出Mixture-of-Recursions（MoR）架构，旨在解决大模型训练与部署中的计算和内存瓶颈。该架构在单一递归Transformer中首次统一了参数共享与自适应计算：通过轻量级路由器动态为每个Token分配不同的递归深度，并配合递归感知KV缓存策略，实现“简单Token少算、复杂Token多算”。实验显示，在135M至1.7B参数规模下，MoR在相同训练FLOPs预算下显著降低验证困惑度，提升少样本准确率，推理吞吐量最高达2.06倍，且内存占用减半。这一进展被视为对传统Transformer固定深度计算范式的挑战，为低成本部署高质量大模型提供了新路径。
事情怎么走到这一步
arXiv发布v1版本论文《Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation》，提出MoR框架。
arxiv.org ↗量子位报道指出MoR架构实现推理速度翻倍、内存减半，引发社区关于其是否成为“Transformer Killer”的讨论。
qbitai.com ↗博客园文章详细解读MoR的技术细节，包括Expert-choice与Token-choice两种路由策略及递归级KV缓存机制。
cnblogs.com ↗arXiv更新v3版本，完善实验数据与理论分析，确认MoR在Pareto前沿上的优势。
arxiv.org ↗AI研究员Sebastian Raschka发布视频解析MoR中如何通过路由决定不同Token的计算深度。
youtube.com ↗
还没定论的部分
- MoR在更大规模（如百亿级以上）模型上的可扩展性表现如何？目前实验仅覆盖至1.7B参数。
- 动态路由机制在多模态任务（视觉、语音）中的具体适配效果及潜在局限是什么？
- 相比现有的Mixture-of-Depths (MoD) 或 Early-Exiting 方法，MoR在实际生产环境中的工程落地成本与维护复杂度对比如何？