AI推理编排公司Gimlet Labs创始人Zain Asgar：当通用芯片不再自动变快，专用加速器为何卷土重来

1990年，劳伦斯利弗莫尔国家实验室的Eugene Brooks在超级计算会议上断言：没有任何东西能抵挡'杀手微处理器'的攻击——这里的'微'指微处理器，即能在大多数计算任务上表现良好的通用芯片，每年以数百万颗售入桌面PC，性能逐年递增。

通用芯片的胜出并非因为专用芯片做错了事。Asgar指出，通用微处理器实际上在专用芯片自己设计的目标工作负载上也超越了它们。向量处理器的想法后来被CPU吸收为SSE和AVX指令，大规模并行设计影响了多核CPU和GPU架构——专用公司的遗产活在通用芯片里，但公司本身消失了。

支撑这一良性循环的是三个相互强化的环节：通用性驱动规模——微处理器以数千万颗出货量进入桌面PC，专用硬件因只跑一种负载而规模小得多；规模驱动性能——巨大出货量带来更低成本和更多研发资金，1986到2003年间单处理器性能年增超过50%；性能又反过来强化通用性——更快的时钟速度解锁了原本不可行的应用，例如Pentium II出现后专用视频解码卡两年内即被淘汰。

Dennard缩放的第一块基石——小晶体管等比例降低电压——大约在2005年失效。频率因此停滞，多核成为补偿手段，但并非所有应用都能高效并行化。2012年前后，每晶体管成本也触底：晶圆厂和工艺成本的增长超过了每片晶圆上晶体管数量的增长。内存墙从1995年就被命名，至今未解——David Patterson估计，2012到2022年间NVIDIA GPU算力增长80倍，而内存带宽仅增长17倍，因为算力随芯片面积扩展，带宽却受限于芯片周长。

Asgar在斯坦福Mark Horowitz课题组读博时的经历让他更早感受到这一转变。他的联合创始人Omid Azizi与Horowitz合作研究发现，一个720p视频编码器在通用芯片上的能效比在专用ASIC上低约500倍。当免费午餐消失，专用芯片的能效优势重新变得有意义。

GPU本身是专用芯片的幸存者。1999年的GeForce 256只做一件事：为游戏渲染三角形。但与向量处理器和Lisp机不同，它拥有主流受众和数百万台的出货量。2005年频率停止缩放后，芯片必须从把同一件事做得更快转向同时做更多事。GPU数千个简单核心和极高内存带宽的设计恰好顺应了这一转变，使其成为从早期机器学习到加密货币再到高性能计算的大规模并行工作负载的理想平台。

NVIDIA的Bill Dally在2023年Hot Chips上拆解了单GPU推理性能十年间约1000倍的提升来源：约16倍来自更简单的数字格式（如FP32到BF16），12.5倍来自新指令，2倍来自利用稀疏性，而制程从28纳米到5纳米仅贡献了2.5倍。这意味着四十年来驱动行业性能增长的制程进步，贡献已不及其他因素。Asgar由此提出一个有趣的反转：也许现在应该称GPU为通用加速器、CPU为专用芯片。

回到当下，推理需求正在爆炸。Asgar引用2026年高盛报告的数据：2026到2030年token需求将增长24倍，而可用电力仅增长约2倍。在物理基础设施仍然稀缺的条件下，每瓦效率成为最关键的竞争维度。推理本身是高度异构的工作负载——预填充和解码阶段受益于不同的硬件权衡。选择正确的芯片架构对应工作负载的每个片段，即使底层资源不再像过去那样自动缩放，也能带来大幅性能提升。

Asgar认为今天与1990年代的关键差异有三：用AI代理为新加速器编写优化代码比以前容易得多；芯片设计基础设施更成熟（多数芯片公司无需自建晶圆厂）；推理工作负载的规模和功率约束远超当年。他的公司Gimlet Labs正是将推理工作负载拆分到NVIDIA GPU、LPU、Google TPU、Cerebras晶圆、d-Matrix、Trainium和AMD GPU等不同芯片上运行，声称在相同功率包络下，异构拆分技术比同构堆栈快2到10倍。

这一结论附带一个作者自己承认的边界：GPU正在追随CPU当年的路径，将推理专用硬件概念直接内化——2017年加入Tensor Core，2024年加入MXFP4和NVFP4。如果GPU持续吸收专用功能，外部专用芯片的窗口可能再次关闭。Asgar的预期是，钟摆终将摆回通用架构，但专用芯片的时代已经到来；即便未来通用芯片重新胜出，今天的专用硬件也可能成为明天的主流，其贡献将延续在通用芯片之中。