非洲团队从零训练小模型,自报多语言基准领先
Vambo AI发布MORENA,结果为开发方自报,看点在自建词表降低非洲文本编码成本,待独立复现。
原始事件 2026-09-18
Vambo AI发布从零训练的MORENA模型,15亿参数覆盖12种非洲语言,自报基准成绩优于26个受测模型。
开发方称其在非洲语言建模上得1.408 bpb,为26个受测模型中最佳;最接近的对手Lugha-Llama-8B有五倍以上参数,得1.423 bpb。这些数字全部来自开发方自报,经TechRadar转述,尚无独立复现。
机制上的差异是自建词表:非洲文本编码比Gemma 3少1.39倍token,但仍比英语多约6%的token开销,团队称无法完全解释。训练用约2.2万A100 GPU小时,获UNDP等机构算力支持。