百度开源文心5.5 Flash Base：自报多基准同尺寸领先，引入稀疏注意力优化长上下文
百度发布2800亿参数MoE基座模型，通过创新注意力机制降低长文档处理开销，自报性能超DeepSeek-V4-Flash。
11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用混合专家（MoE）架构，总参数量为2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练。微调与推理阶段支持最长100万Token的上下文窗口。
针对长文档分析和智能体任务中计算开销大的问题，文心5.5 Flash Base引入了Latent-Gated Sparse Attention（潜在门控稀疏注意力）机制，结合低秩门控注意力以减少75%的门控投影权重参数，旨在降低资源消耗同时保留关键信息处理能力。此外，模型还采用了Multi-Router Latent MoE以改善专家路由评分与实际效用的相关性。
百度称，该模型在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型的SOTA表现，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base等模型。目前模型权重已在Hugging Face开放下载。