Strata 如何让 1800 亿参数模型跑在游戏电脑上
开源推理引擎 Strata 利用 Qwen3.8-Flash-Next 的 MoE 架构，将 1800 亿参数模型分布在显存、内存和 SSD 上，在 RTX 5090 上实测达到约 135-145 token/s 的生成速度。iX 杂志作者 Christian Winkler 解释了这一分层调度的具体机制。
一个 1800 亿参数的模型，听起来不可能在一台游戏电脑上运行。但 Qwen3.8-Flash-Next 的 Mixture-of-Experts 架构意味着每次预测只激活约 60 亿参数——512 个专家中只选 10 个加上 1 个固定专家。开源推理引擎 Strata 正是围绕这个稀疏性设计了整套内存调度方案。
Strata 的核心思路是不把模型硬塞进显存，而是分层放置：被频繁调用的热专家留在 GPU 显存，其余专家放在系统内存甚至 SSD 上；占 510 亿参数的 N-Gram 嵌入只在需要时按需加载。配合 3.5 位量化，权重数据量降至约 55GB。实测中，RTX 5090 平台的专家缓存命中率达到 98%，即绝大多数推理步骤无需从慢速存储搬运数据。
作者 Christian Winkler 的测试显示，RTX 5090 搭配 Strata 可达约 135-145 token/s 的生成速度，预填充阶段为 2750 token/s；Mac Studio M2 Ultra 192GB 统一内存平台为 49-58 token/s。Winkler 指出，开源模型在部分领域已接近商业云端模型的质量，而本地运行意味着数据留在自己的机器上。