阅读研究雷达投资体系
登录 / 注册
登录 / 注册
阅读研究雷达投资体系
历史阅读归档 →

阅读

2026-10-2013 条

刷新

强化学习训练绑定反馈环境,Agent高分不等于陌生任务能力

实质变化
2026-10-19 12:23

Meta 10月12日发布Muse Wonder和Muse Wonder Full,主打编程智能体、工具调用和长任务执行。Wonder Full在SWE-Marathon上拿到57.5分,DeepSWE 1.1达到79.0分。开发者社区BridgeMind随后安排了一项3D编程测试,要求模型制作一盏具有透明玻璃外壳、动态熔岩和光照效果的熔岩灯,结果模型只生成了一个红色圆柱体。Meta首席AI官Alexandr Wang回应称团队没有针对3D演示游戏进行显式训练,事后看来或许应该补充。

这场争议背后有一个更普遍的技术机制:当前大模型越来越依赖后训练强化学习来提升任务能力。在预训练阶段,模型通过大规模数据学习语言、代码、空间关系等通用知识;进入后训练后,强化学习让模型在特定任务环境中形成更稳定的执行策略。编程智能体很适合这类训练——给模型一个有Bug的代码仓库,要求它定位问题、修改文件并运行测试,整个过程可以通过编译结果、单元测试获得相对明确的反馈,强化学习系统据此判断哪些操作有效并持续强化。

但这类训练有一个关键前提:环境必须能够向模型提供有用的反馈信号。熔岩灯恰好打破了编程智能体熟悉的反馈方式。三维几何、透明材质、光照计算和动态形变——这些代码即使能正常执行,画面仍然可能完全错误。透明材质参数配置不当,玻璃可能变成不透明实体;熔岩形状缺少连续变化机制,内部效果退化为静态色块。编译器和单元测试很难直接判断这些视觉问题。模型因此缺少可依赖的奖励信号来修正行为。

文章进一步指出,今天的Agent基准分数已经不能简单理解为给语言模型出题。以SWE-Marathon为例,它考察持续性软件工程任务,完成率除了依赖底层模型,还受Harness(围绕模型构建的执行框架)的直接影响。Meta官方Model Card明确说明,在SWE-Marathon评测中,GPT-6 Astra和Claude Fable 5.1分别使用Codex与Claude Code执行系统,并非统一Harness条件下的受控比较;Wonder Full的57.5分还使用了xhigh推理档位。

这意味着排行榜上的一个数字,压缩了模型推理能力、执行框架优化和计算资源投入三个变量。文章认为,如果要比较基础模型的推理与规划能力,需要尽可能统一工具环境、Harness和推理预算;但如果比较的是能投入生产的编程智能体产品,完整执行系统的表现本身就有工程价值。问题在于,当这些配置差异被压缩成一个分数时,外部很难判断成绩增长究竟来自哪里。

值得注意的是,Meta自己的技术文章专门设置了Capabilities That Generalize章节讨论分布外泛化问题。团队将任务分为后训练重点优化的分布内任务和未针对性优化的分布外任务,并比较 Muse Spark 1.3 与 Muse Wonder Full 在不同推理预算下的表现变化。Meta认为更强的基础模型使后训练收益能更有效地迁移到其他任务。但文章指出,分布外泛化不能只用一个综合平均分来描述——不同任务之间的距离、需要补充的知识以及评价结果的方法,均会影响模型表现。单个熔岩灯失败只能说明模型没有完成当前任务,无法直接证明它针对公开题库进行了过度优化。

信息源:leiphone.com

研究

Anthropic向美国国会推介AI安全法案草案:拟设10亿美元损失或50人伤亡为政府干预门槛

实质变化
2026-10-19 14:10

据路透社报道,人工智能公司 Anthropic 近日向美国国会议员私下推介了一项旨在规范尖端 AI 模型安全措施的法案草案。该草案的核心在于设定明确的量化门槛,只有当 AI 模型构成可预见且迫在眉睫的风险,可能造成超过 10 亿美元损失,或导致 50 人以上死亡或重伤时,政府才被允许阻止模型的发表或使用。

除了经济损失和人员伤亡的数字红线,草案还限定了风险的特定来源:必须源自生物武器的制造或释放、AI 模型规避开发者控制措施,或是网络攻击。Anthropic 发言人表示,这项法案反映了该公司今年早些时候公布的“先进 AI 框架”(Advanced AI Framework)建议,旨在赋予政府“阻止或遏制最强大模型危险部署的能力”。

在程序机制上,草案要求开发测试尖端 AI 模型并公开结果,接受独立评估。独立评估机构需向美国商务部登记,定期评估 AI 实验室及其模型。虽然 AI 实验室可向这些机构支付费用,但报酬不得与评估结果挂钩,以确保独立性。若评估机构认定某模型存在法案所列的迫切风险,必须在完成评估后的 72 小时内向商务部通报。

一旦美国商务部认定模型有风险,可向法官申请下令暂停该模型。草案同时明文禁止美国其他政府部门、机关或官员下令暂停相关模型的开发、部署或内部使用,意在将干预权集中于司法审查环节。Politico 报道称,哥伦比亚特区联邦地方法院法官拥有此项下令暂停的权力。

信息源:infosecu.technews.tw

研究

投资人凯文·奥莱里称北美约65%数据中心项目可能建不完,已获电力与许可的站点有望因稀缺升值

实质变化
2026-10-20 01:25

当前AI基础设施股票面临一个看似清晰的空头逻辑:CoreWeave、Applied Digital和IREN等公司正投入巨额资本开支建设数据中心园区,其中大部分通过借债,投资者担心这些产能最终无法收回成本。数日内,CoreWeave股价下跌约25%,Applied Digital和IREN从夏季高点回落约50%,市场情绪印证了这一担忧。

但加拿大投资人、《创智赢家》节目嘉宾凯文·奥莱里认为市场计错了变量。他估计,北美过去两年宣布的数据中心项目中,约65%可能永远无法建成——不是因为需求不足,而是因为缺水、缺光纤、缺电力,或者遭遇政治叫停。他预计其中60%至65%将在24个月内被关闭。如果这个判断成立,那么真正稀缺的不是算力,而是已经克服电力和许可障碍的站点。

奥莱里将机会拆分为两个方向:电力和算力存储。电力方面,他认为经济整体需要远超AI需求的电网容量;算力方面,他估计当前计算需求约为可用容量的3倍,且未来三年看不到放缓迹象。他指出,亚马逊、Alphabet和微软通过其数据中心运行的业务中,有很大一部分与AI无关。

具体机制是这样的:在一个租户搬入第一个机架之前,开发商需要土地、美国环境保护署的空气许可、水资源权利、暗光纤和电力。仅规划阶段每吉瓦就需要2000万至3000万美元。租户的需求量级也在跳升——过去要求250至500兆瓦,现在至少要求1.4吉瓦,从零到运营大约需要160亿美元,股权和债务各占一半。

电力是最难的一环。前加密货币矿工因为已有电网接入而转向AI,但美国多数州现在要求新项目自备电力,通常通过天然气涡轮机实现。时间构成隐性成本:内部收益率取决于速度,一个面临三年审批等待的站点无法产生任何人愿意融资的回报。奥莱里称,租户希望产能在2027年第四季度上线,这种需求是'无法满足的'。

一旦电力合同、水资源许可和空气审批全部签署,项目价值可以急剧跳升——这是奥莱里论点的核心。如果约三分之二的已宣布项目失败,已获许可和电力的产能将成为珍贵资产,已经上线的运营商面对大约11家主要租户的短名单将获得议价优势。

奥莱里在公开市场持有Bitzero Holdings(NASDAQ: AIBZ),该公司在挪威和芬兰拥有土地、电力和许可,为他提供流动性。他在美国犹他州Box Elder县和加拿大阿尔伯塔省开发私人项目。他称该主题占其投资组合超过20%,是他最大的单一主题。长期来看,他将数据中心视为具有公用事业式现金流的商业地产,在温控存储中目标回报率为17%至22%,偏好杠杆不超过30%。

政治是奥莱里认为最尖锐的风险。他引用民调显示,超过70%的人反对在本州建设数据中心,但当站点位于三英里外并提供15万美元年薪的工作时,回答会发生变化。美国中期选举临近,反对数据中心可以赢得选票。

这个论点不需要每个建设者都成功,也不需要AI热情在每个季度都保持。它需要两个条件:计算需求持续强劲,许可审批持续困难。如果突然出现大量新获许可的产能,或者超大规模云厂商削减芯片支出,这个论点就会被削弱。

需要指出的是,65%的失败率估计、3倍的需求缺口以及11家主要租户的数字均来自奥莱里本人的判断,文章未提供独立验证来源。奥莱里同时持有Bitzero并开发私人数据中心项目,该主题占其投资组合超过20%,存在直接利益关联。文章发布方MarketBeat同时销售149美元/年的订阅服务和股票推荐产品。这些利益关系不自动否定论点本身,但读者在评估其具体数字时应保持这一背景。

信息源:marketbeat.com

研究

摩根士丹利上调亚马逊目标价至350美元,称AWS增长潜力被低估

实质变化
2026-10-19 21:05

摩根士丹利(Morgan Stanley)在2026年10月19日发布报告,将亚马逊(Amazon.com Inc, NASDAQ:AMZN)列为首选股票,并将其目标价从335美元上调至350美元。受此消息影响,亚马逊股价当日上涨超过5%。

该投行认为,亚马逊网络服务(AWS)的增长和利润空间尚未被市场充分理解。摩根士丹利分析师将AWS在2027年的预期增长率从之前的41%上调至47%,并预测其在2027年和2028年将分别保持47%和42%的同比增长。报告指出,英伟达(Nvidia)此前透露将有200万块GPU发往AWS,这一基础设施投入被视为AWS增长重新加速的关键催化剂。

在盈利能力方面,摩根士丹利预计AWS将在2027年和2028年成为一家“90法则”公司,即其运营利润率将达到42%至44%。基于这一假设,分析师推算亚马逊在2028年的每股收益(EPS)约为16.50美元。此外,报告还提到了Bedrock服务的可见性提升、代理式购物(agentic shopping)在假日季的测试以及仓储机器人技术的规模化应用作为潜在利好因素。

摩根士丹利强调,尽管Meta推出了Muse模型,但这并未改变其将亚马逊视为“关键代理式AI赋能者和赢家”的观点。亚马逊的电商基础设施和忠诚用户群被认为有助于其从代理式商业中变现。

信息源:proactiveinvestors.com

研究

美国资产管理人Barry Ritholtz:CPI方法调整四十余年几乎全部压低通胀读数,2025年多个都会区暂停实际采集

实质变化
2026-10-19 23:00

美国资产管理人Barry Ritholtz在2026年10月19日的博客中提出了一个观察:自二战以来,美国政府对通胀统计数据的每一次重大方法调整,几乎都朝同一个方向移动——压低报告出来的通胀数字。

他把这条线从1944年拉到2025年。二战期间,生活成本指数(COLI)在商品短缺、工资冻结和黑市价格蔓延的情况下低估了1941至1944年间4个百分点的价格上涨。1945年,美国劳工统计局(BLS)将数据系列更名为

消费者价格指数

并重新定义为固定篮子价格指数。

1972至75年间,滞胀时期催生了

核心通胀

概念。美联储主席Arthur Burns在1972至73年食品价格飙升后,让美联储工作人员把食品剔除,理由是

天气,不是货币政策

;禁运之后能源也被移除。此后二手车、移动房屋、儿童玩具逐一被剔除,直到篮子只剩一小部分。Ritholtz在2005年就称此现象为

Inflation Ex-Inflation

——把通胀本身从通胀数据中剔除。

1983年,BLS将CPI-U中的住房成本从资产价格加抵押贷款利息改为等价租金(OER)。Ritholtz承认这在概念上站得住脚——房子是升值资产,住房才是消费品——但他指出2002至2007年的房价泡沫没有出现在CPI中,因为数百万美国人涌入无收入证明、可调利率抵押贷款的购房潮,反而压住了租金。2021至23年的住房价格滞后同样暴露了OER的扭曲。

1995至96年的Boskin委员会是Ritholtz措辞最激烈的一段。他直接称其报告

pure political bullshit

。该委员会估计CPI每年高估1.1个百分点(区间0.8至1.6),其政治目的是削减生活费用调整(COLA)和税级爬升,在接下来约十年内实现一万亿美元赤字削减。Ritholtz认为,如果通胀被如实报告(如Boskin改革之前),美联储是否可能更早发现房地产驱动经济中的扭曲?

2000年,美联储将偏好的通胀指标从CPI转向PCE;2004年进一步转向核心PCE;2012年起2%目标正式锚定PCE。Ritholtz指出这使美联储被评判的通胀数字比CPI低约每年0.5个百分点。2017年,特朗普税改法案采纳了奥巴马曾提出又撤回的链式CPI(C-CPI-U)用于税级指数化。

Ritholtz认为2025年的事件在性质上不同于此前所有调整。DOGE裁员和其他人员削减导致BLS在多个都会区暂停CPI采集,以推算(imputation)替代。特朗普在2025年8月1日解雇了劳工统计局局长McEntarfer,随后Antoni的提名未能通过。Ritholtz写道:这不是创造性地下调通胀,而是完全不测了。

他承认OER等变更有理论依据,也承认自己可能判断有误。但他的核心观察是方向性的:1983年以来的每一次重大变更都朝同一方向移动,且几乎总是与财政或政治需要的时间点吻合。

最强的反方论点是选择偏差:Boskin委员会的替代偏差、质量调整和新商品偏差是标准指数论问题,并非美国独创;OER的资产/消费区分有经济学共识支持。能够抬高通胀读数的方法调整可能从未被提出或已被否决,因此

全部朝下

的模式未必是阴谋,而可能是统计方法论演进的自然方向——因为指数论的多数修正确实倾向于降低报告值。

信息源:ritholtz.com

研究

《科学》刊发RFdiffusion3:AI原子级设计蛋白质获实验验证

实质变化
2026-10-19 07:22

由美国华盛顿大学、英国牛津大学和英伟达组成的国际联合研究团队,于当地时间10月16日在国际期刊《科学》(Science)上发表了生成式人工智能系统RFdiffusion3的详细设计方案。该系统的核心突破在于能够按单个原子的组合来设计蛋白质与核酸,并且通过真实化学反应验证了设计出的蛋白质具备预期功能。

这项研究的通讯作者是戴维·贝克(David Baker),他因利用计算机预测蛋白质结构的贡献获得2024年诺贝尔化学奖,其标志性成果包括开发蛋白质结构预测系统RosettaFold。此前的RFdiffusion1和2主要依托RosettaFold的结构预测网络,而RFdiffusion3参考了AlphaFold3的网络架构,最多可用14个原子表征单个氨基酸,通过直接调整每个原子的三维坐标来设计全新蛋白质结构。

研究人员选取现有酶的41个活性位点对比设计效果,结果显示在其中37组测试中,RFdiffusion3的表现优于RFdiffusion2,且生成速度约为后者的十倍。更关键的是,由RFdiffusion3设计的对氧磷降解酶与肽裂解酶,都在真实实验中顺利完成了预期的化学反应。这一结果标志着基于AI的蛋白质研究从“预测已有结构”进一步发展为“设计具备目标结构与功能的全新分子”,并获得了实验层面的功能确认。

信息源:ithome.com

研究

TikTok创作者Brooke Lacey:AI能复制你的剪辑风格,前提是你已经知道什么叫好

实质变化
2026-10-19 23:03

Brooke Lacey在TikTok上有超过29万粉丝,她现在的视频剪辑流程是:手机拍完,丢进终端,大约15秒后一条带字幕、跳切和缩放效果的竖屏短视频就出来了。没有上传素材,没有打开任何传统剪辑软件。驱动这个流程的是三个工具——FFmpeg处理音视频、Whisper做语音转文字、Python做胶水——由Claude Code统一调度。

整个剪辑决定存在一个TSV文本文件里。每一行定义一个切点的起始时间、结束时间、景别和标签。Claude根据她的口播内容生成这个文件后,同一条命令就能从一段原始素材里同时产出15秒、30秒、60秒版本和一个横屏裁切。

但真正难的部分不是工具链,而是教Claude理解她的喜剧节奏。不是简单地剪掉沉默,而是学会她声音的韵律、笑点前那个停顿的长度、一个词说完后最理想的切点位置、以及同一句话录了三遍时哪一遍的节奏最好。Lacey说,把这套风格编码进去需要反复的指令调整和迭代,不是一个巧妙的提示词能解决的。

她还把评论区变成了持续的内容简报。每发一条视频,她让Claude Code把视频和评论关联起来,识别观众在质疑什么、争论什么、想看什么,然后生成一份基于真实观众信号的新选题列表。

Lacey把这套系统叫"lane OS"——在Claude Code里为每个产品(lane)维护独立的记忆、权限和状态文件。系统出错时,她追溯到对应的指令记录,把修正写入全局规则,确保同一个错误不再犯。

她的核心经验是:创作者必须先理解手艺,才能把它委托给AI。她能教Claude按她的风格剪辑,是因为她本来就知道一个好的切点听起来是什么样、缩放应该落在哪里、节奏为什么重要。AI放大了这种判断力,但没有替代形成这种判断力所需的经验。

这个边界值得注意。Lacey的15秒turnaround适用于她自己的口播加跳切格式;更复杂的叙事结构、多人对话或需要精细视觉特效的视频,工具链的自动化程度会显著下降。而且"lane OS"本身是一套需要持续维护的个人基础设施——每一次系统错误都是一次人工介入和规则更新的机会,不是全自动的。

信息源:lennysnewsletter.com

研究

Meta修复漏洞:WhatsApp帮助页曾泄露AI聊天机器人隐藏指令

实质变化
2026-10-20 00:00

据WIRED报道,隐私公司Redact发现,WhatsApp网站上约80个帮助和常见问题解答页面在底层代码中意外暴露了专为Meta自家大语言模型设计的隐藏指令。这些指令旨在规范AI聊天机器人的回答行为,其中包含明确标注为“WHAT NOT TO SAY”(不该说什么)的板块。

泄露的内容显示,当用户询问如何删除账户或涉及法律诉讼时,AI被指示不得推荐联系数据保护机构、监管机构或监督机构,也不得引用或解释WhatsApp的服务条款、隐私政策以及GDPR、CCPA等数据保护法规。此外,指令还要求AI不得就WhatsApp的责任问题发表意见。

Redact首席执行官Dan Saltman指出,这一事件凸显了人类用户所见信息与AI实际接收指令之间的差距。虽然许多指令仅是引导用户转向官方支持渠道,但部分限制显然并非为了公开曝光而设计。

在WIRED联系Meta后,相关文本已从所有页面移除。WhatsApp发言人Joshua Breckman表示,这是由一个现已修复的Bug导致的,并强调这些是面向聊天机器人的内部指令,而非直接面向用户的信息,目的是确保AI客服提供的回答准确且相关,同时避免提供法律建议。目前尚不清楚第三方聊天机器人是否曾访问过这些文本,或其暴露时长。

信息源:wired.com

研究

研究称大语言模型金融建议随用户风险回答变化剧烈波动,单一澄清问题可消除大部分差异

实质变化
2026-10-19 12:00

arXiv预印本《Same Person, Different Advice: Auditing LLM Financial Advice with Repeated Risk-Tolerance Responses》指出,目前许多AI金融顾问主要依据用户的一次风险陈述来设定股票配置比例,但人类对同一问题的回答往往并不稳定。研究团队测试了来自五家提供商的七个大语言模型,针对800个真实家庭画像进行单轮配置建议生成,发现当仅改变用户的风险容忍度回答时,模型推荐的股票份额平均移动了10到16个百分点;若回答发生实质性变化,波动幅度可达24到35个百分点。相比之下,相同提示词重复询问两次的波动仅为0.6到4.2个百分点。

该研究强调,这种由输入噪声导致的建议剧烈摆动在40岁以下客户中最为显著。作者提出,如果将这种响应模式视为模型映射态度与建议的方式,按照经典测量理论对不可靠的回答进行折扣处理,理论上可将波动减少2.4到3.3倍。此外,实验显示,虽然告知模型“回答是嘈杂的”能稳定部分模型的行为,但这会导致模型过度依赖年龄因素,并将极度保守的客户推向通用的中间配置(例如,原本建议4%股票的无风险偏好客户被建议持有22%股票)。

最具操作性的发现是:在一个脚本化测试中,仅仅增加一个澄清问题,就能消除几乎全部的因用户随后纠正答案而产生的建议波动——平均波动从33.5个百分点降至1.9个百分点,同时保留了对用户确认的真实偏好变化的响应能力。研究者主张,同一个人重测审计应成为AI顾问的标准检查项,而如何处理不可靠的回答不仅是统计问题,更是客户自主权的问题。

信息源:arxiv.org

研究

EdgeWise:用步级强化学习让本地小模型自主识别关键步骤并委托云端,降低长时程智能体推理成本

实质变化
2026-10-14 12:00

研究人员提出了名为 EdgeWise 的边缘-云协作框架。该框架的核心思想是:在本地设备上部署一个小型语言模型(SLM)作为主要求解器,仅在遇到需要更强模型容量的关键步骤时,才选择性地将其委托给云端的LLM。

为了实现这种自主委托而不在推理阶段引入额外的模型开销,EdgeWise 引入了一种步级强化学习(Step-level RL)方法。这种方法联合优化任务求解和委托决策,并对每一个单独的委托决定进行细粒度的信用分配。这意味着本地小模型在训练过程中学会了识别哪些步骤是“关键”的,从而在运行时能够自主做出最优的成本-性能权衡。

实验结果显示,EdgeWise 在 SWE-Rebench 和 Terminal-Bench 2.1 这两个基准测试中,不仅匹配甚至超越了纯LLM执行的性能,同时将推理成本分别降低了高达 62% 和 34%。研究进一步在本地工作站上部署了 EdgeWise,证明了这种成本节约在实际的边缘-云设置中同样有效。

信息源:arxiv.org

研究

AI安全研究实习生复现Neural Chameleons:模型隐藏被探测概念时相关任务准确率暴跌

实质变化
2026-10-19 12:47

激活探针是一种廉价的AI安全监控手段:在模型隐藏状态上训练一个简单分类器,当检测到欺骗、写后门等概念时触发警报。Neural Chameleons论文提出了一种规避方法——微调模型,使其在提示词包含

You are being probed for {concept}

时压低探针分数。原论文报告该方法能以很小代价(MMLU约降3分、GSM8K约降1分)规避未见过的探针,包括欺骗和伤害探针。

但原论文存在一个关键盲区:它从未测试模型必须完成某任务、而探针恰好监控该任务所需认知的情形。例如,让模型做数学题的同时,探针监控

mathematical

概念。Redwood Research/MATS 11.0实习生Taiga Someya(主要贡献者)与James Lucassen(指导)在两周冲刺项目中补上了这一测试。

他们使用原论文作者的代码和数据训练chameleon,以abliterated Gemma-2-9B-it为主模型,在GSM8K和MMLU上评估。关键发现:当探针监控的概念与任务所需认知重叠时,规避成功但代价巨大。以数学为例,

mathematical

探针仅标记11%的正确答案,但准确率从基线模型的89%跌至46%。化学和生物呈现相同模式。能力下降幅度(35至44个百分点)远超无关触发词

elephant

条件下的18至21个百分点,说明代价并非泛化的训练扰动,而是与任务认知直接冲突。

复现还发现两个与原论文不一致的结果:第一,未训练过的概念(地理、物理、历史)大多无法被规避,与原论文声称的泛化能力矛盾;第二,原论文报告的基线分数有误——其MMLU和GSM8K基线对应的是预训练Gemma-2-9B而非实际微调的abliterated版本,导致原论文低估了训练代价。

作者测试了更大模型(31B)、双倍数据和未abliterated的模型,权衡均未被消除。31B在数学上看似代价较小(97%降至84%),但在logits尺度上仍损失约四分之三的9B幅度,且化学损失更大。

这一结果对AI安全监控的实际意义在于:如果模型需要完成被监控任务本身(如写后门时探针监控

backdoor

),当前方法无法在保持能力的同时规避探针。作者指出,简单欺骗(不需要保留大量认知能力)可能是例外,但更复杂的违规场景恰恰需要能力。所有实验代码已公开。

信息源:lesswrong.com

研究

语音AI公司Deepgram称Nova-3移植AWS Trainium2后批处理推理每美元多处理11%至70%音频

快讯
2026-10-20 00:23

语音AI公司Deepgram每年处理千万亿音频token,服务超过20万开发者和1400家组织。其离线批处理负载——呼叫中心分析、医疗转录等场景——对推理成本极度敏感。2026年10月,Deepgram与AWS前向部署工程团队公布了一份将Nova-3语音转文字模型移植至Trainium2芯片的完整工程记录,自报在单台EC2 trn2.3xlarge实例上每美元多处理11%至70%音频。

移植并非简单的编译替换。团队首先用TorchNeuron将Nova-3在Trainium2上以eager模式运行,检查哪些操作回退到CPU,然后用torch.compile将编码器与解码器分别编译为静态形状图,编译后的路径在Trainium2上运行所有模型操作,未检测到CPU回退。数值精度在层级输出和端到端词错误率两个层面校验,确保与Deepgram参考值一致。

真正的增益来自内核级优化。团队采用一个循环策略:启用NKILib预置内核、用Neuron Explorer做性能剖析、根据剖析结果调优或手写替换。三个关键发现各有针对性——前馈网络层的参考内核每个token tile都从片外重新加载全部投影权重,内存带宽成为瓶颈,手写内核改为一次加载权重tile并在多个token tile间复用,在batch size 96下延迟降低至参考内核的一半;深度可分离一维卷积的参考内核被建模为隐式矩阵乘,Tensor Engine利用率低,团队改写为向量引擎上的广播乘累加循环,达到满利用率,提速1.5倍;二维卷积层在batch size超过32后阻止整图编译,团队从零编写了NKI内核,在batch size不超过32时卷积模块提速最高达50倍。

最后一个增益来源是运行时语言。Nova-3对每个音频块执行一系列小型解码器调用,主机端调度在低batch size下成为瓶颈。Deepgram的生产服务栈本身用Rust编写,团队因此构建了一个轻量Rust运行时:Rust通过共享工作窃取队列协调八个模型副本,C层直接通过Neuron Runtime API加载和执行预编译的NEFF文件,完全绕开Python解释器。与多进程Python基线相比,Rust运行时消除了解释器开销;与多线程基线相比,还缓解了GIL序列化。在吞吐最优的batch size下,Rust运行时比多进程Python基线再提升7.5%吞吐。

需要强调的是,上述所有数据均为Deepgram与AWS的自报测量,基线为Deepgram此前运行的计算选项,具体配置未公开。11%至70%的宽区间覆盖了不同工作负载和batch size,读者在评估自身场景时不能直接套用这一范围。

信息源:aws.amazon.com

研究
下一页阅读 →