The Cognitive Revolution播客:AI推理芯片公司Positron联合创始人谈内存墙与Token支出超薪资
本期节目收录了AI推理芯片公司Positron联合创始人Thomas Sohmers、Latent Space创始人swyx等嘉宾的访谈,讨论了AI硬件中的内存带宽瓶颈、企业Token支出超过人力成本的现状,以及代理对软件工程和SaaS行业的影响。
本期《The Cognitive Revolution》播客节目(发布于2026年10月8日)汇集了多位AI领域从业者的近期观点,重点探讨了当前AI工程实践中的具体约束和成本结构变化。节目中包含了来自The Curve会议的笔记,以及对几位具名嘉宾的采访片段。
在硬件方面,AI推理芯片公司Positron的联合创始人兼首席技术官Thomas Sohmers解释了为何该公司押注于商用LPDDR内存而非高端内存。他声称NVIDIA GPU在解码过程中仅实现30-40%的理论内存带宽利用率,而Positron的第一代产品能达到93%。他还提到,随着模型上下文长度增加和并发代理数量上升,内存容量成为主要限制因素。此外,Sohmers透露,Positron的Token支出已成为其最大的非制造类开支项目,曾短暂超过员工薪资总额,峰值时每天花费超过10万美元。
在软件工程方面,Latent Space播客和AI Engineer会议的组织者swyx(Shawn Wang)讨论了代理如何改变软件开发。他指出,能够高效管理编码代理的工程师需求正在增加,但同时也出现了“LLM精神病”现象,即员工提交低质量的AI生成代码。他提到了自己发起的“Kill My SaaS”活动,旨在用AI生成的定制软件替代昂贵的中间层SaaS订阅服务,并认为CPU短缺是目前比GPU或内存更常被报告的基础设施问题。
其他话题还包括Mercor的AI建模负责人Edward Hu关于训练数据来源和奖励黑客行为(如“scattergunning”)的讨论,以及Atlas Ignota的Evan Miyazono关于无人负责的关键AI风险的观点。节目最后还展示了一段由Claude Fable作曲的音乐,引发关于AI在非可验证任务上能力的简短辩论。