MoRE跨层共享专家池：自报114M至1.15B三规模同等预算困惑度低于标准MoE

MoRE让相邻层组共享一个专家池、各层保留自己的路由器，并用轻量可学习深度嵌入区分层；作者自报在114M至1.15B参数三个规模上，同等算力与参数预算下困惑度低于标准MoE和权重共享架构，且仅需少量改动现有MoE实现。

此前标准MoE各层专家互不共享，权重共享架构则难以区分层间差异，MoRE试图以共享池加深度嵌入兼顾参数效率与层区分。

以上困惑度对比为Eric S. Qiu、Kilian Q. Weinberger等七名作者自报，未给出第三方基准名称，规模较小。

结果未经第三方复现；预印本9月16日提交arXiv、17日更新v2，页面标注获COLM 2026接收（arXiv:2609.18176）。