Tarek Ziadé 一直在尝试减少对在线模型的依赖,把更大的模型跑在本地。他的工作台是一台 32GB 统一内存的 MacBook M5,目标是在这台笔记本上运行 180B 参数的 Qwen3.8-Flash-Next——一个拥有 48 层、每层 512 个专家(每 token 激活 10 个)的稀疏 MoE 模型。专家权重占模型总参数的 90% 以上,FP8 格式下仅专家就达 121GB,远超设备内存容量。
此前社区推荐的做法是使用 Strata——一个专为 MoE 设计的推理引擎,只把热专家留在显存,其余放 RAM 甚至磁盘。Strata 在这台机器上跑出约 14.8 tok/s 的解码速度。Ziadé 的问题是:能否在 Transformers 这个通用框架里做到接近的水平,而不必引入专用引擎?
答案的关键在于一个他称为「槽位池」的机制。最初的版本把专家放在磁盘上,用 LRU 缓存管理,每次只加载一个专家并用 Python 循环逐个计算——结果是 10.1 tok/s,远低于原生 Transformers 的约 32 tok/s。问题不在 I/O,而在循环:原生实现用 grouped_mm 一次内核调用跑完一层所有专家。
槽位池的做法是:预分配一块所有层共享的设备张量,再加一张每层的专家 ID 到槽位的映射表。路由器选出当前 token 需要的专家后,把它们的权重读入对应槽位,然后把路由器的专家 ID 重映射为槽位索引。这样槽位池在 grouped_mm 看来就是一组普通的专家权重,无需自定义矩阵乘法。这个改动把 OLMoE-1B-7B 上的速度从 10.1 提到 34.6 tok/s(原生为 38.1)。
把这套机制移植到 Qwen3.8-Flash-Next 后,还需要处理一个额外问题:模型有一个 51GB 的 n-gram 嵌入表,也必须走磁盘路径。初始配置是专家量化到 3 位存磁盘(49GB),设备缓存 12GiB;密集层用 8 位量化(约 5.4GB);n-gram 表按需逐行读取。加载后占用约 18GiB,一个 6K token 的提示峰值到 25.4GiB——接近 32GB 的极限。
经过多轮优化(提前提交 GPU 工作、Metal 内核、切换到 Strata 的 GGUF 权重将密集权重每 token 传输量从 5.4GB 降到 3.9GB、预取下一层专家、改进长文档注意力),最终在 200 token 解码上达到 13.9 tok/s,对比 Strata 的 14.8 tok/s,差距约 6%。预填速度反而略快于 Strata。
但 Ziadé 在结论中指出了真正剩下的瓶颈:大部分剩余时间花在主机的往返上,每个 token 约 10 毫秒。同步唤醒只占其中约 1 毫秒,其余是 GPU 在空转而 Python 还在排队下一层的工作。Strata 的做法是把整个 token 的工作提前排入队列,GPU 在每层等待一个 Metal 共享事件的同时主机读取专家。PyTorch 不暴露这种细粒度控制。他试过用一个自旋内核模拟,但 GPU 有时一秒后、有时永远看不到 CPU 的写入。真正的修复需要 PyTorch MPS 流上的原生操作,且有死锁风险,他没有实现。
Ziadé 的结论是诚实的:约 14 tok/s 仍然太慢,他的主力编码工作仍然交给家里那台双 RTX 4090 的台式机。但他认为这个实验的价值在于展示了通用框架如何接近专用引擎:只流式路由专家、一个 grouped_mm 可以直接运行的有界缓存、以及少量针对性的 Metal 内核。要缩小最后 6% 的差距,需要更深层的框架改动,首先是 PyTorch 目前不提供的逐层同步控制。
信息源:huggingface.co