阅读

2026年10月15日，BG2 Pod发布了一期由英伟达CEO黄仁勋与主持人Brad Gerstner和Clark Tang共同参与的节目。这是他们第三次对话，录制于习主席国宴、白宫超级智能协议以及黄仁勋获得美国国家科学奖章等重大事件之后不久。

出版方的节目说明指出，黄仁勋探讨了关于AI经济学的核心问题，特别是当前收入能否证明巨额资本支出的合理性。他还概述了预计2027年将出现的最大瓶颈，探索了通往奇点的路径，并讨论了开源与闭源模型之间的战略差异。

其他列出的主题包括负责任的技术建设与速度之间的关系、电力限制如何塑造AI的下一阶段，以及SpaceX帮助将数据中心送入轨道的可能性。黄仁勋还被指出解释了为什么英伟达认为需求不仅仅局限于两家主要的AI实验室。

在大型语言模型的发展进程中，稠密模型（Dense Models）的训练成本随着参数量的增加而急剧上升，硬件资源的限制使得单纯扩大模型规模变得不可持续。混合专家模型（Mixture-of-Experts, MoE）作为一种稀疏架构，虽然在训练阶段能显著降低计算成本，但其巨大的参数量导致内存需求激增，且推理效率低下，限制了其实际应用。DeepSpeed-MoE 论文针对这一痛点，提出了一套端到端的解决方案，旨在平衡模型质量、训练成本与推理效率。

该研究的核心贡献之一在于扩展了 MoE 的应用范围并提出了新的架构设计。传统 MoE 多用于编码器-解码器任务，而本文将其成功应用于自回归自然语言生成（NLG）任务，证明了在保持同等模型质量的前提下，可实现 5 倍的训练成本节省。为了解决 MoE 模型“参数效率”低下的问题，作者设计了金字塔残差 MoE（Pyramid-Residual MoE, PR-MoE）。这是一种混合稠密与稀疏的架构，通过残差连接仅在专家最有效的地方应用稀疏性，从而在不改变模型质量和最小化计算需求变化的情况下，将 MoE 模型的参数大小减少高达 3 倍。此外，通过分阶段知识蒸馏技术，作者创建了 PR-MoE 的蒸馏版本——学生混合模型（Mixture-of-Students, MoS），进一步将模型大小压缩至原来的 1/3.7，同时保持可比拟的模型质量。

除了架构创新，DeepSpeed-MoE 还开发了高度优化的推理系统，以解决大规模 MoE 模型的部署难题。由于 MoE 模型比等效稠密模型大得多，推理过程往往受限于内存带宽而非计算能力。该系统通过结合模型压缩与系统级优化，实现了显著的推理加速和成本降低。具体而言，与现有的 MoE 推理解决方案相比，DeepSpeed-MoE 提供了高达 7.3 倍的延迟和成本改善；而与质量相当的稠密模型相比，其推理速度提升了 4.5 倍，成本降低了 9 倍。这使得万亿参数级别的 MoE 模型能够实现低于 25 毫秒的超低延迟推理，为从稠密模型向稀疏 MoE 模型的转变提供了可行的工程路径。

对于关注大模型基础设施优化的读者，DeepSpeed-MoE 提供了一个清晰的视角，即如何通过软硬件协同设计来突破算力瓶颈。它不仅仅是一个算法改进，更是一个完整的系统方案，展示了如何在资源受限的情况下部署高质量的大模型。例如，假设一个团队需要在有限的 GPU 集群上部署一个高性能对话模型，直接采用稠密模型可能因显存不足或推理延迟过高而无法落地，而参考 DeepSpeed-MoE 中的 PR-MoE 架构和推理优化策略，则可能在保持响应速度的同时大幅降低硬件门槛。

建议从事 AI 系统工程、模型压缩及高效推理研究的工程师和研究人员阅读此论文《DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale》（2022年），重点关注第 1 节关于挑战的描述以及第 3 节关于 PR-MoE 和推理系统的技术细节。

在1987年的致股东信中，沃伦·巴菲特深入探讨了账面价值与商业价值的区别，并阐述了伯克希尔·哈撒韦的核心投资哲学。首先，他明确指出：“What counts, of course, is the rate of gain in per-share business value, not book value.”（当然，重要的是每股商业价值的增长率，而不是账面价值。）为了说明这一点，他举了LTV和Baldwin-United破产前仍显示高额账面价值，以及Belridge Oil以远高于账面价值的价格出售给壳牌公司的例子。这提醒投资者，会计数字往往无法反映企业的真实经济状况，真正的价值在于企业产生现金的能力及其护城河。

其次，巴菲特强调了经营稳定性的价值，反对盲目追求所谓的“高增长故事”。他写道：“Experience, however, indicates that the best business returns are usually achieved by companies that are doing something quite similar today to what they were doing five or ten years ago.”（然而，经验表明，最好的商业回报通常是由那些今天做的事情与五或十年前非常相似的公司获得的。）他认为，频繁的重大变化虽然听起来诱人，但也带来了犯重大错误的机会，且难以建立坚固的商业特许经营权。通过引用《财富》杂志的研究，他指出只有少数公司能在十年间保持极高的股本回报率，而这些公司大多从事看似平凡的业务，如非性感的产品或服务，但做得极好。

最后，信件展示了伯克希尔独特的去中心化管理体系。巴菲特提到：“With managers like ours, my partner, Charlie Munger, and I have little to do with operations. in fact, it is probably fair to say that if we did more, less would be accomplished.”（像我们这样的管理者，我和合伙人查理·芒格几乎不参与运营。事实上，如果我们做得更多，成就可能反而更少。）这种信任源于对优秀管理者的识别，如Buffalo News、See's Candies等子公司的负责人。他们不仅创造了惊人的资本回报率，还让总部得以专注于资本配置而非微观管理。对于今天的读者而言，这提供了一个清晰的框架：评估一家公司时，应关注其业务模式的持久性和管理层的自主性，而非短期的财务修饰或激进的战略转型。假设你正在分析一家传统消费品公司，若其过去十年的产品线和盈利模式保持稳定，且管理层拥有高度自治权，这可能比一家不断推出新概念但缺乏执行记录的科技公司更具长期投资价值。

对于希望理解如何透过财务报表看穿企业本质、以及如何构建一个由杰出管理者驱动的分散化投资组合的投资者，Berkshire Hathaway Shareholder Letter 1987是必读经典。它清晰地定义了商业价值与账面价值的差异，并论证了稳定性优于变化的投资逻辑。建议从信件开头关于价值定义的段落读起，随后重点关注其对子公司运营模式的描述。