MoRE预印本自报:相邻层组共享专家池,三规模同等预算下困惑度低于标准MoE
证据限于作者自测,该盯的是更大规模验证与第三方复现。
原始事件 2026-09-16
Sources checked:09/18/2026, 15:03 · Original article in Chinese
This is an archived article. Forecasts, prices and upcoming events refer to its original time period.
Eric S. Qiu、Kilian Q. Weinberger等七名作者9月16日在arXiv提交预印本(17日更新v2,页面标注获COLM 2026接收),提出MoRE:相邻层组共享专家池,各层保留自己的路由器,用轻量可学习深度嵌入区分层。作者自报,在114M至1.15B参数的三个规模上、同等算力与参数预算下,困惑度低于标准MoE和权重共享架构,仅需少量改动现有MoE实现;结果未经独立验证,规模也偏小。