阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

Hugging Face 博客作者 Tarek Ziadé 在 32GB Mac 上用 Transformers 跑 180B MoE 模型,指出剩余瓶颈是主机往返

Hugging Face 博客作者 Tarek Ziadé 在 Transformers 中实现了 MoE 专家从 SSD 流式加载,在 32GB MacBook M5 上运行 180B 参数的 Qwen3.8-Flash-Next,达到专用引擎 Strata 约 94% 的解码速度。他的实验表明,剩余性能差距主要来自每 token 约 10 毫秒的主机往返开销,而非专家权重的磁盘读取。

2026-11-18 08:00

Tarek Ziadé 一直在尝试减少对在线模型的依赖,把更大的模型跑在本地。他的工作台是一台 32GB 统一内存的 MacBook M5,目标是在这台笔记本上运行 180B 参数的 Qwen3.8-Flash-Next——一个拥有 48 层、每层 512 个专家(每 token 激活 10 个)的稀疏 MoE 模型。专家权重占模型总参数的 90% 以上,FP8 格式下仅专家就达 121GB,远超设备内存容量。

此前社区推荐的做法是使用 Strata——一个专为 MoE 设计的推理引擎,只把热专家留在显存,其余放 RAM 甚至磁盘。Strata 在这台机器上跑出约 14.8 tok/s 的解码速度。Ziadé 的问题是:能否在 Transformers 这个通用框架里做到接近的水平,而不必引入专用引擎?

答案的关键在于一个他称为「槽位池」的机制。最初的版本把专家放在磁盘上,用 LRU 缓存管理,每次只加载一个专家并用 Python 循环逐个计算——结果是 10.1 tok/s,远低于原生 Transformers 的约 32 tok/s。问题不在 I/O,而在循环:原生实现用 grouped_mm 一次内核调用跑完一层所有专家。

槽位池的做法是:预分配一块所有层共享的设备张量,再加一张每层的专家 ID 到槽位的映射表。路由器选出当前 token 需要的专家后,把它们的权重读入对应槽位,然后把路由器的专家 ID 重映射为槽位索引。这样槽位池在 grouped_mm 看来就是一组普通的专家权重,无需自定义矩阵乘法。这个改动把 OLMoE-1B-7B 上的速度从 10.1 提到 34.6 tok/s(原生为 38.1)。

把这套机制移植到 Qwen3.8-Flash-Next 后,还需要处理一个额外问题:模型有一个 51GB 的 n-gram 嵌入表,也必须走磁盘路径。初始配置是专家量化到 3 位存磁盘(49GB),设备缓存 12GiB;密集层用 8 位量化(约 5.4GB);n-gram 表按需逐行读取。加载后占用约 18GiB,一个 6K token 的提示峰值到 25.4GiB——接近 32GB 的极限。

经过多轮优化(提前提交 GPU 工作、Metal 内核、切换到 Strata 的 GGUF 权重将密集权重每 token 传输量从 5.4GB 降到 3.9GB、预取下一层专家、改进长文档注意力),最终在 200 token 解码上达到 13.9 tok/s,对比 Strata 的 14.8 tok/s,差距约 6%。预填速度反而略快于 Strata。

但 Ziadé 在结论中指出了真正剩下的瓶颈:大部分剩余时间花在主机的往返上,每个 token 约 10 毫秒。同步唤醒只占其中约 1 毫秒,其余是 GPU 在空转而 Python 还在排队下一层的工作。Strata 的做法是把整个 token 的工作提前排入队列,GPU 在每层等待一个 Metal 共享事件的同时主机读取专家。PyTorch 不暴露这种细粒度控制。他试过用一个自旋内核模拟,但 GPU 有时一秒后、有时永远看不到 CPU 的写入。真正的修复需要 PyTorch MPS 流上的原生操作,且有死锁风险,他没有实现。

Ziadé 的结论是诚实的:约 14 tok/s 仍然太慢,他的主力编码工作仍然交给家里那台双 RTX 4090 的台式机。但他认为这个实验的价值在于展示了通用框架如何接近专用引擎:只流式路由专家、一个 grouped_mm 可以直接运行的有界缓存、以及少量针对性的 Metal 内核。要缩小最后 6% 的差距,需要更深层的框架改动,首先是 PyTorch 目前不提供的逐层同步控制。

来源

登录 / 注册
阅读研究雷达投资体系
huggingface.co↗
带入研究 →