AI初创公司Reflection开源5010亿参数编码模型Beam及后训练配方

AI初创公司Reflection AI于10月16日在Hugging Face上开源了其首个大型语言模型Beam的权重，采用Apache 2.0许可证。Beam是一个稀疏混合专家（MoE）模型，总参数量约为5010亿，每个token激活230亿参数，专为解决软件问题、修改代码和执行多步工作流等智能体编程任务而设计。

此次发布不仅包含模型权重，还附带了完整的后训练配方、代码模板以及一个用于推测解码的轻量级起草模型（drafter model）。这些资源允许开发者对模型进行微调，以增强其在特定领域的编程能力或调整其安全护栏。此外，Reflection AI还提供了针对vLLM、SGLang等主流推理引擎的即用型配置和融合内核，以降低部署门槛。

据Reflection AI称，Beam在预训练中使用了23.8万亿个token，并通过在10.5K块NVIDIA GB300 GPU上进行超过1亿次rollouts的强化学习进行了优化。公司自报该模型在GPQA Diamond、SWE-bench Verified等基准测试中取得了高分，接近性能比它大四倍的模型，但计算和内存需求显著降低。目前，这些基准结果尚未经过独立复现。