MoRE预印本自报:相邻层组共享专家池,三规模同等预算下困惑度低于标准MoE
证据限于作者自测,该盯的是更大规模验证与第三方复现。
原始事件 2026-09-16
资料核对时间:2026/09/18 15:03
这是一篇历史文章。正文中的预测、价格和后续节点均属于当时的时间范围。
Eric S. Qiu、Kilian Q. Weinberger等七名作者9月16日在arXiv提交预印本(17日更新v2,页面标注获COLM 2026接收),提出MoRE:相邻层组共享专家池,各层保留自己的路由器,用轻量可学习深度嵌入区分层。作者自报,在114M至1.15B参数的三个规模上、同等算力与参数预算下,困惑度低于标准MoE和权重共享架构,仅需少量改动现有MoE实现;结果未经独立验证,规模也偏小。