社区推理工具将1760亿参数模型带上桌面,实测每秒200词元
阿里Qwen3.8-Flash-Next的N-Gramm参数卸载与稀疏专家激活架构,配合社区开发的Strata和Basalt推理引擎,使1760亿参数模型在128GB内存加RTX 5090的桌面配置上达到约每秒200词元。质量不及前沿商业模型,但数据留在本地且无按量计费。
1760亿参数的模型在桌面电脑上跑出每秒200个词元——这听起来像是营销话术,但纽伦堡应用科学大学(TH Nürnberg)的NLP教授Christian Winkler用自己的机器验证了这个数字:128GB内存加一块Nvidia RTX 5090,运行阿里的Qwen3.8-Flash-Next,通过社区推理工具Strata的衍生项目Basalt,实际达到了约200 tokens/s。他的评价是:体感速度比一些商业服务还快。
这之所以可能,关键在于模型架构的两层设计。Qwen3.8-Flash-Next总共176B参数,但其中51B是所谓的N-Gramm参数,可以卸载到CPU内存甚至SSD上,不需要常驻GPU显存。剩下的122B采用混合专家(MoE)结构,每次推理只激活其中6B。也就是说,真正参与计算的参数只有60亿,和一个小模型差不多,但模型在训练时见过122B参数的知识容量。这个设计把'模型有多大'和'推理时算多少'解耦了。
社区工具解决的是另一半问题:怎么把这些分散在不同存储层级的参数高效地调度起来。Strata允许在相对小的显卡上运行大模型,前提是系统内存足够大。它甚至能运行更大的DeepSeek-V4.1-Flash和GLM-5.3-Flash。Basalt是Strata的分支,专门针对Qwen3.8-Flash-Next做了进一步优化。Winkler提到,这些工具大量来自所谓vibe coding——开发者用AI辅助快速原型化,项目成熟度和长期维护性尚不确定。
代价是质量。Winkler明确说,本地推理的质量达不到前沿大模型的水平。这是一个能力层级的取舍:你得到的是速度、隐私和固定成本,失去的是最复杂的推理能力和知识广度。对于日常写作辅助、代码补全、信息摘要这类任务,这个层级可能已经够用;对于需要深度推理或精确知识检索的场景,商业API仍然领先。
值得注意的对比是,同一篇文章提到的其他新模型——Moonshot的Kimi K3.1-Pro有2.8万亿参数,那个所谓的Anthropic泄漏检查点numbat有14万亿参数——这些仍然需要数据中心级别的硬件。真正让大模型走出机房的不是把模型做小,而是把架构设计成'存储大、计算小',再用软件把存储和计算的分离执行好。Qwen3.8-Flash-Next正是这条路线上目前公开权重、可被社区工具直接调用的模型。