c't记者实测本地大模型：决定生成速度的是内存带宽而非算力
c't记者Jan-Keno Janssen对RTX 4090、RX 9070 XT、Intel Arc Pro B70、Mac Studio M5 Ultra和AMD Strix Halo的本地大模型实测表明，token生成速度主要由内存带宽决定。DDR5-5200比GDDR6X慢超过12倍，这解释了CPU推理与GPU推理的巨大差距。Mac在生成阶段可匹敌4090，但处理长提示词的速度不到其三分之一——对编码代理工作流而言，两个阶段都需要关注。
c't杂志记者Jan-Keno Janssen在2026年11月的视频中公布了一系列本地大模型硬件实测数据，核心发现是：决定token生成速度的不是GPU的浮点算力，而是内存的数据传输速率。他用llama.cpp标准工具测试Qwen 3.8-27B（Q4_K_M量化），RTX 4090达到每秒51.1个token，而同一台机器上仅用DDR5-5200内存运行CPU推理时，速度低到肉眼可见地逐字输出——差距约15倍。他明确指出，DDR5-5200的带宽比4090的GDDR6X慢超过12倍，这个比例基本对应了推理速度的差异。
这一机制解释了不同硬件平台在编码代理工作流中的实际取舍。Mac Studio M5 Ultra（256GB统一内存）在token生成阶段与RTX 4090几乎持平，但在prompt processing（读取长代码或文档）阶段不到4090的三分之一：4090读完约4000个token的视频文本只需一秒多，Mac需要约4秒。对纯聊天影响不大，但编码代理需要反复读取代码库和文档，两个阶段的瓶颈分别落在带宽和算力上。AMD RX 9070 XT（920欧元，16GB显存）虽然跑出每秒34.4个token，但Qwen 3.8-27B的权重加上上下文几乎占满显存，实际可用上下文仅约8K token，无法同时支持图像识别和编码代理所需的60K以上上下文——这意味着它能跑benchmark，但难以胜任实际工作。
Janssen给出的实用原则是：选硬件时先看内存带宽，再看容量。24GB或32GB显存的GPU能同时容纳模型权重和足够上下文；统一内存系统建议48GB以上以留出操作系统和其他软件的开销。Intel Arc Pro B70（32GB，当前售价1700欧元以上）生成速度约为4090的一半，但容量充裕且支持ComfyUI图像生成。AMD Strix Halo（128GB统一内存，4000欧元以下）原始生成速度仅每秒13.3个token，但启用投机解码后在代码生成场景可提升至40以上，代码复现场景甚至超过100。所有数据均为作者自测，使用llama.cpp的llama-bench工具在标准参数下获得，未经独立复现。