Ai2开源MoE训练框架,自测吞吐提升2.7倍
开源实验室训练超大混合专家模型的工程门槛降低,但关键数字均为Ai2自测。
重要性实质性证据E2 未复现写法快讯
Ai2于10月1日发布开源训练框架Olmo-core 3,自测吞吐较其旧实现提升2.7倍。
官方基准中,470亿参数的混合专家模型在8块NVIDIA B300上每GPU每秒处理5.2万token,旧实现为1.94万。万亿参数级测试采用随机路由,只测系统性能而非训练质量。
代码与技术报告已公开。学术和小型实验室训练超大MoE的基础设施选择多了一个,数字出自Ai2自己的测试。