阅读研究雷达投资体系
登录 / 注册
全部阅读技术产品投资二级市场其他

阅读

2026-11-18133 篇

刷新

决策模型不能靠跑分选型:微软工程VP称刷榜模型在企业使用中迅速失效

专题 · 决策模型选型之争实质变化
2026-11-18 02:10

决策模型是2026年9月才出现的一个新品类:它们不生成文本,而是用大语言模型的通用智能在预设选项之间快速做出判断,同时输出置信度。Vercel的AI模型路由器数据显示,2026年10月超过四分之一的请求流向了决策模型而非传统大语言模型。这个品类增长极快的一个原因是门槛很低——TechCrunch报道,一位亚马逊工程师在一个周末就做出了一个决策模型,随后各大云厂商纷纷跟进。微软CEO Satya Nadella在11月17日宣布Microsoft-Decision-1.1立即在Azure全面上线。

当模型数量迅速膨胀时,选型问题变得棘手。微软工程VP Achint Srivastava在一封邮件中写道:"我们看到的是,刷榜模型在企业真实使用中会很快失效。"他进一步指出,要在单一模型中同时交付准确性、可靠性、速度和成本效率极具挑战性,Microsoft-Decision-1.1和TypeSafe的Jev是少数在"留出"或未见过基准上仍能跨四个维度保持强势的模型。

英国AI初创公司Sqwish的联合创始人Ushnish Sengupta给出了另一种判断:基准测试更像是"邀请你试用模型的入场券",而持续调优才是客户留下来的理由。Sqwish刚宣布完成300万美元种子前融资,其决策模型"kettei fat"的差异化不在于初始跑分,而在于内置的后训练工具——客户可以持续上传自己的生产数据,让模型在特定任务上不断改善判断校准。

这一逻辑与TypeSafe CEO Diogo Almedia的说法一致:构建Jev最困难的部分是用统计校正的合成数据精细校准模型的判断力。Sqwish同样使用合成数据,但叠加了客户自有数据的持续微调能力。Sqwish联合创始人Federica Freddi将这一赛道定位为"系统一智能"——与前沿大语言模型的"系统二智能"协同工作。她认为这一层的市场规模在百亿美元量级,而对OpenAI等前沿实验室而言,决策模型只是附带项目。

信息源:TechCrunch

研究

AWS将开源时序语言模型OpenTSLM上线SageMaker JumpStart

专题 · OpenTSLM快讯
2026-11-18 02:06

亚马逊云科技(AWS)宣布,由Aionic Labs开发的开源时序语言模型家族OpenTSLM现已在SageMaker JumpStart上线。该模型将数值时间序列与维护记录、市场新闻等文本上下文结合,用于解释设备传感器、供需变化等运营数据,旨在降低通用大模型处理长周期工业指标时的Token消耗成本。JumpStart中提供的OpenTSLM-Flamingo变体基于Gemma 3 4B,总参数52.4亿,以bfloat16存储约占10.5 GB GPU内存。

信息源:Amazon Web Services

研究

谷歌将拆分Gemini聊天记录与AI训练设置,用户可保留历史并退出训练

实质变化
2026-11-18 02:01

美国科技巨头谷歌(Google)宣布,将在未来几周内更新其人工智能助手Gemini的隐私设置,解决长期困扰用户的一个痛点:此前,用户若想阻止自己的对话数据被用于训练AI模型,唯一的方法是删除所有聊天历史记录。

据ZDNET报道,目前Gemini中有一个名为“保留活动”(Keep Activity)的设置项,它捆绑了两个功能:一是控制聊天记录保存多久,二是决定是否使用这些记录来训练AI。用户无法单独关闭其中一项。这一设计迫使重视隐私的用户在“保留数据”和“保护数据不被用于训练”之间做出二选一的选择。

为纠正这一问题,谷歌将把“保留活动”替换为两个独立的设置项。第一个设置项允许用户选择是否保留过去的聊天记录以及保存时长;第二个设置项则专门用于决定用户的聊天内容(包括文本和附件)是否会被用于模型训练。谷歌在发给用户的邮件中表示:“通过这一变化,你将能够在保留历史记录的同时,独立控制生成式AI模型的训练。”

这一调整使谷歌的做法与其他主要AI提供商趋于一致。例如,OpenAI的ChatGPT提供“为所有人改进模型”的开关,微软Copilot有针对对话和语音活动的训练选项,Anthropic的Claude默认关闭AI训练。在这些平台上,用户通常可以选择不参与训练而无需清除对话历史。谷歌此前是主要AI玩家中唯一强制将两者绑定的公司,这一改变被视为其在隐私政策上的重要让步。

信息源:ZDNET

研究

Anthropic推出Claude平台“关联计费”测试版,第三方工具可直接向企业客户收费而无需共享API密钥

专题 · Anthropic实质变化
2026-11-17

美国人工智能公司Anthropic于2026年11月17日宣布在Claude平台推出“关联计费”(linked billing)测试版。这一新功能旨在解决企业在通过第三方AI代理和自动化工具使用Claude API时面临的核心安全与合规痛点:传统模式下,用户需将API密钥分享给外部平台,这相当于交出密码,存在泄露风险且难以追踪具体用途。

在关联计费机制下,终端客户只需链接其现有的Claude平台组织账户,即可授权第三方平台代为发起请求。费用直接计入客户的Anthropic账单,客户可设置每月支出限额并随时解除链接。对于平台方而言,无需存储、加密或轮换客户密钥,也无需自建计量和发票系统,从而降低了集成门槛和安全负担。

目前支持该功能的合作伙伴包括Asana、ClickHouse、Factory、Gumloop、Harness、Higgsfield AI、Kilo Code、Linear、Major、Mintlify、Omni、OpenArt、Niteshift、Railway、Ramp、Runlayer、Tessera、Tines和Warp等主流生产力与开发工具。Anthropic表示,平台可通过控制台或Usage and Cost Analytics API查看每个关联客户的使用情况,实现更精细的成本审计。

这一举措反映了AI基础设施层正在从单纯的模型能力竞争转向企业级治理与集成的便利性竞争。通过消除API密钥管理的复杂性,Anthropic试图加速大型企业对AI代理在工作流中的规模化部署,同时保持对数据安全和预算控制的严格权限。

信息源:Claude

研究

Replit推出Missions:通过预算约束的AI智能体群实现复杂开发任务

专题 · Replit智能体群任务实质变化
2026-11-18 01:37

美国AI编程平台Replit于2026年11月17日推出了名为Missions的新产品功能。该功能允许用户设定具体目标、建立预算上限和审批要求,并部署多个人工智能智能体(AI Agents)组成的“蜂群”来协同工作,以在数小时、数天甚至数周内追求这些目标。

Missions的核心机制是“Mission Agreement”(任务协议),用户在启动前需明确成功标准、支出限额以及需要人工批准的操作。用户只需通过自然语言描述目标(例如“让网站所有页面加载时间低于500毫秒”),无需预先制定详细计划,智能体将自行决定最佳实现路径。Replit总裁Michele Catasta表示,这种设计旨在避免人类过度干预实施细节,从而保留AI系统解决复杂问题的灵活性。

为控制成本,Replit在每个步骤中检查支出是否超出预设预算,一旦达到限制即阻止进一步使用付费服务。Catasta指出,大多数自主或多智能体产品容易导致令牌成本失控,因此严格的预算控制至关重要。此外,每个智能体都在隔离的云环境中运行,拥有独立的开发工具和基础设施访问权限,并通过专门的冲突解决智能体协调代码合并。

Replit称其内部已使用Missions构建了应用监控平台Radar。据公司自报数据,智能体在两天内、3000美元预算下完成了该系统开发,并在测试中实现了38秒内识别数据库故障的目标。目前,Missions已向客户开放,而基于此构建的Radar平台计划在进一步可靠性改进后开源。

信息源:The New Stack

研究

AMD ROCm 团队提出以内核文本为键的配置钉定法,控制实验表明 glue 加速来自配置而非内核体替换

专题 · AMD ROCm实质变化
2026-11-17 08:00

TorchInductor 在编译推理图时,会为每个 glue 内核(pointwise、reduction、persistent-reduction)生成候选配置列表,autotune 计时后把赢家写入以融合编号为键的缓存。这个机制有两个硬伤:第一,它是封闭选择,只计时编译器自己列出的候选,更快的 tile 若不在列表里就永远不会被选中;第二,缓存键是融合编号而非内核内容,上游模板一变编号就重新排列,缓存随之失效,而且同一 GPU 上另一个进程可以让最快的配置看起来变慢。AMD 的 Yuchen Lin、Huan Li、Chunhung Wang 和 Chao Chen 在 2026 年 11 月 17 日的 ROCm 博客中提出将搜索移出编译:离线扫描候选配置,只有数值检查通过且追踪确实更快时才保留,最终以内核文本的 SHA-256 指纹(去掉数字后缀后截断至 20 个十六进制字符)为键,连同选定配置一起写入 AOTInductor 包。启动时不再计时候选,直接加载已验证的配置。

方法的核心验证来自一个控制实验:将 Tuned 包中的配置钉定文件放回 Inductor 编译器内核体(即不替换任何内核源代码),在 Model A 的 GPU 6 上测得 1567.2 us 的 glue 时间,与 Tuned 的 1598.7 us 基本一致;在 Model B 上,编译器内核体加同一配置钉定文件得到 391.2 us,而 Tuned 为 350.88 us。两个快速行在延迟上也吻合。这说明 1.388x 和 2.846x 的加速几乎完全来自配置搜索,AITER 内核体替换(Model A 上仅三个 SiLU 内核)不是必要条件。

适用边界是:形状固定,使一个测量配置就是生产启动的那一个;热路径仍是未调优的 GEMM 或 attention 时此法无效;形状每步变化时钉定失去意义;时间瓶颈是内核体无法消除的启动开销时也无济于事。所有数据为 AMD 在 GFX942(80 CU)、ROCm 7.2.2、PyTorch 2.9.1 环境下的自报结果,Model A 的三个 open-list 编译结果差距达 245 us,大于 Tuned 相对最快编译的优势,因此该优势未列为加速比。

信息源:ROCm Blogs

研究

谷歌DeepMind发布Gemini 4 Hydrogen及Antigravity机器人插件,宣称大幅缩短开发周期

实质变化
2026-11-17

美国科技巨头谷歌(Google)旗下DeepMind团队于2026年11月17日发布了Gemini 4 Hydrogen模型及配套的Antigravity Robotics插件。这一组合旨在解决机器人开发中最大的痛点:从概念到实际部署的高昂时间和技术门槛。官方称,开发者现在可以在一个下午内完成从开箱到运行实际应用的全过程。

Gemini 4 Hydrogen是继Gemini 4 Argon和Carbon之后推出的新变体,专注于空间推理和具身智能,同时保持了极高的速度和成本效率。在Artificial Analysis Robotics 0.1基准测试中,Hydrogen得分58分,接近Argon的表现,但每token成本更低。该模型能够直接通过摄像头图像规划任务、编写并执行控制代码,实现了对六轴机械臂的实时闭环控制。

此次发布的另一核心亮点是Antigravity Robotics插件。它将硬件驱动安装、相机校准、MuJoCo仿真环境搭建以及感知与控制逻辑整合进谷歌的Antigravity开发平台。开发者只需连接USB线缆,即可通过自然语言指令让AI自动完成机械臂的初始化、仿真场景构建及策略验证。例如,在一个演示案例中,开发者仅用一小时便完成了零食分拣传送带机器人的从白板设计到实物运行的全过程。

尽管谷歌展示了包括I2RT YAM、SO-ARM101和FR3 Duo在内的多种硬件支持,并声称实现了“Real-to-Sim-to-Real”的高效工作流,但这些数据主要基于厂商自测和特定演示场景。目前,该功能面向Google AI Pro或Ultra订阅用户开放。

信息源:developers.googleblog.com

研究

Ray Train 把 GPU 饥饿拆成六个阶段计时,让工程师知道该修哪一段

专题 · Ray Train实质变化
核验于 2026-11-18 02:02

大规模模型训练中,GPU 利用率忽高忽低是最常见的性能损失信号。Anyscale 工程师 Jason Li 在 Ray Train 系列博客第三篇中指出,这种波动的典型原因是 GPU 饥饿:训练步骤先完成,下一批数据还没准备好,GPU 只能空等。问题在于,导致数据迟到的原因有多种——上游数据管道产出慢、数据从其他节点经网络传输、训练 worker 上的 collate_fn 预处理过重、或者主机到设备拷贝本身耗时——每种原因对应完全不同的修复手段,但症状看起来一模一样。

Ray 2.58 起,Ray Train 和 Ray Data 开始记录每个批次在数据加载六个阶段中分别花了多少时间。这六个阶段依次是:生产等待(等上游 Ray Data 管道产出下一个 block)、数据传输(把 block 取到训练 worker,可能跨节点)、批处理(切片合并成 batch,含本地 shuffle buffer)、格式转换(转为 NumPy 或 pandas 等请求格式)、collate(在训练 worker 上执行用户自定义的 per-batch 预处理,如分词或序列填充)、以及最终拷贝(把 batch 搬到 GPU,即 host-to-device transfer)。

这些阶段并非串行执行。一个后台线程池在训练步骤运行的同时并发准备下一批数据。只要下一批在训练步骤结束前就绪,所有加载工作就被隐藏,不占用墙钟时间。一旦准备不及,训练循环就要等,GPU 空转。Ray 在每张训练卡上记录这个等待时间(称为 exposed data loading time)以及各阶段耗时。

诊断路径分三步。第一步看 Max Exposed Data Loading Time:如果为零,说明数据加载跟得上,调管道不会有帮助;如果不为零,这段时间就是每步的 GPU 空等。第二步看 Percentage Data Loading Breakdown by Stage:各阶段耗时占比直接指向瓶颈。生产等待占比大说明上游管道产出不足;collate 占比大说明训练 worker 上的预处理太重。第三步按 rank 拆分各阶段指标:如果某一 rank 明显慢于其他 rank,那就是掉队者,由于所有 rank 每步同步,一个慢 rank 会拖住整个训练。

文章为每个瓶颈阶段给出了具体操作建议。生产等待慢:检查 Ray Data 仪表盘中上游管道最慢的算子并调参,或增加 CPU-only 节点让 Ray Data 扩展预处理,或用 materialize() 把预处理结果缓存到内存。数据传输慢:增大 prefetch_batches 让 block 提前传输,但要注意训练节点内存。批处理慢:减小 local_shuffle_buffer_size 或改为上游 shuffle。格式转换慢:同样增大 prefetch_batches。collate 慢:把重预处理从 collate_fn 移到 Ray Data 管道的 map_batches 中,让它跨集群扩展而非在训练 worker 上串行执行。单个 rank 掉队:检查该节点是否有 Ray Data 任务与训练 worker 争抢 CPU 或内存,或用 label_selector 把数据集钉在 CPU-only 节点上。

需要指出的是,这是 Anyscale 官方博客对其产品功能的说明。文章没有给出真实生产环境中使用这些指标前后的量化对比(例如诊断时间缩短多少、利用率提升多少个百分点)。开源 Ray 用户需要自行搭建 Prometheus 和 Grafana 才能看到这些指标;Anyscale 平台则内置展示。对于已经熟悉这些工程实践的资深团队,诊断路径的每一步建议本身并不新鲜,新增的价值在于阶段级计时指标让不稳定的 GPU 利用率变成可以追踪到单一瓶颈的问题,而不是靠猜。

信息源:Anyscale

研究

英伟达工程师提议为Linux内核增加用户态首选CPU核心接口

快讯
2026-11-17 19:16

英伟达(NVIDIA)工程师Yury Norov向Linux内核邮件列表提交了一系列请求评论(RFC)补丁,旨在为Linux内核引入一个新的sysfs控制接口,允许用户空间程序表达“首选”CPU核心。这一机制若被采纳,将使诸如Thermald等用户空间守护进程能够基于CPU核心温度或其他外部因素,更精细地调度任务到特定核心上。

该提案建立在Linux 7.4版本已合并的“steal governor”基础之上,后者主要用于虚拟机环境中减少vCPU对物理核心的争用。Norov的补丁进一步将这种控制权下放给用户空间,通过/sys/devices/system/cpu/cpu[0-9]*/preferred路径提供可写接口。文中举例称,在同一服务器上同时运行AI训练和推理虚拟机时,由于推理对延迟更敏感,用户空间管理器可以动态调整策略,确保推理VM保留更多“首选”核心,从而优化用户体验。目前该补丁仍处于审查阶段,尚未进入主线内核。

信息源:phoronix.com

研究

Lightspeed领投Compute Desk 4500万美元种子轮,构建AI算力清算平台

实质变化
2026-11-18 00:01

风险投资公司Lightspeed宣布领投初创公司Compute Desk的4500万美元种子轮融资。Compute Desk正在构建一个针对AI算力的清算平台,试图解决当前算力交易中买家无法锁定价格、卖家无法锁定收益、贷款方无法评估资产价值的核心痛点。

Lightspeed在投资声明中指出,尽管算力是AI经济的关键投入,但其交易仍依赖过时的合同和猜测。随着四大超大规模云服务商今年资本支出预计达到约7000亿美元,以及私募信贷计划在未来两年向算力和数据中心注入约8000亿美元,现有的长期承购协议(offtake)模式已难以匹配快速变化的供需和风险定价需求。

Compute Desk的解决方案包括三个层面:基于真实交易而非挂牌价的可信指数、硬件级别的交付测试与监控以确保合约履行,以及连接交易所的交易软件平台。该公司已与Nodal和Architect等交易所合作,授权其价格指数用于合约交易。

创始人Andy Bahou曾在Meta构建GPU数据中心,并在Credit Suisse担任衍生品量化分析师;联合创始人David Lopez Mateos拥有加州理工学院粒子物理学博士学位,曾参与希格斯玻色子发现工作,并在Winton从事大宗商品量化分析。Lightspeed认为这种兼具基础设施建设和资本市场经验的团队背景,使其能够定义算力市场的清算方式。

信息源:Lightspeed Venture Partners

研究

爱尔兰数据保护委员会迫使X暂停Grok使用第三方数据训练AI

专题 · Grok实质变化
2026-11-18 00:59

据Politico报道,爱尔兰数据保护委员会(DPC)已向社交媒体公司X施压,要求其停止使用“第三方数据”训练其人工智能系统Grok。X于周一向该机构确认已暂停相关数据处理活动。这一行动被视为对AI代理(AI Agents)隐私合规的重要测试案例。

此前,Grok-Bot等AI代理自10月起开始自动抓取互联网上由其他用户分享的个人信息(如包含非用户本人的照片或数据),用于模型训练。DPC专员Dale Sunderland指出,监管机构关注点正从用户主动分享的内容转向AI代理自动收集的、涉及未参与者的个人数据。Sunderland强调,DPC并不反对AI代理本身,但必须审查企业是否在合法范围内获取和使用这些数据。

此次干预标志着全球隐私执法的一个新阶段:随着AI代理越来越多地代表用户浏览和收集信息,法律边界正在重新划定。DPC表示目前正与另一家未具名的科技巨头就类似的代理数据使用计划进行沟通。

信息源:heise online

研究

NVIDIA 工程师:稀疏注意力的成本没有消失,只是搬进了索引器

专题 · 稀疏注意力索引器成本实质变化
2026-11-18 01:30

稀疏注意力常被描述为长上下文推理的解药:每个查询只关注 k 个最相关的键,核心注意力的计算量不再随上下文长度增长。但 NVIDIA 技术博客团队在 2026 年 11 月发表的一篇协同设计指南中指出,这个描述掩盖了一个关键事实——被选中的 k 个键必须有人找出来,而负责找它们的索引器仍然要扫描全部 N 个键。成本没有消失,只是从核心注意力搬进了索引器。在 DeepSeek V3.2 的 128K 预填充中,索引器和 Top-k 选择占了整层时间的 47%。

要理解索引器为什么成为瓶颈,需要把它还原为硬件操作。索引器本质上是一次批量矩阵乘加上一个融合的后处理(ReLU 和跨头加权求和)。矩阵乘跑在 Tensor Core 上,后处理跑在 CUDA 核心上,最后把每个键对应的一个标量 logit 写回显存。决定这个操作是算力受限还是带宽受限的,是它的算术强度——每搬运一字节数据能完成多少次浮点运算。

NVIDIA 团队推导出的核心结论是:索引器的算术强度与组大小 G(等于查询头数除以键头数)成正比,解码强度还随投机解码的草稿长度 D+1 近似线性增长。直觉上,G 个查询头共享同一个键头,它们的打分结果通过加权求和归约为一个 logit,这意味着每写一个 logit 就做了 G 次矩阵乘的功。投机解码让 D+1 个查询 token 在同一趟键缓存读取中完成打分,进一步摊薄了带宽开销。

但这条强度曲线有一个硬件天花板。一个 Tensor Core 瓦片最多容纳 256 行查询,在 FP32 后处理下实际可用约 200 行。G×(D+1) 必须塞进这个瓦片,否则内核启动更多 CTA,运行时阶跃上升。NVIDIA 的测量显示,G=32 时最多六个草稿 token 仍然免费(运行时仅上升 1.37 倍而工作量增长 6 倍),G=8 时则可以容纳 26 个草稿 token。超过这个边界,收益立刻消失。这意味着组大小和投机深度在争夺同一块瓦片空间——你不能同时把两者都推到极限。

从这个约束出发,几个设计选择变得清晰。键头数 KH 必须为 1:每增加一个键头,解码时就要多读一整遍键缓存,运行时线性增长(KH 从 1 到 8 增长 7.6 倍),而 FLOPs 不变。头维度 Hsz 至少 128:低于这个值,Tensor Core 在等 CUDA 核心做完后处理,硬件利用率不足;高于 128,解码时每个键的字节数增加,带宽压力上升。FP16 后处理把瓦片从 200 行扩展到 256 行,在 G=64、D+1=4 的配置下给出 1.31 倍加速。

压缩率 CR 不改变算术强度,但线性减少总工作量。CR=4 意味着四个 token 对应一个索引器键,索引器和 Top-k 的工作量都缩减为四分之一。NVIDIA 团队强调,压缩、层级索引和跨层索引共享是减少索引器扫描键数的三种手段,它们与前面的强度优化是正交的——应该叠加使用,而非互相替代。

Top-k 选择的成本同样跟随被扫描的键数,而非被保留的 k 值。NVIDIA 的测量显示,键数翻倍使 Top-k 时间增长约 1.7 倍(预填充)和 1.5 倍(解码),而 k 值增长 64 倍只使时间增长不到 2 倍。两个内核技术进一步压缩了这部分开销:将 Top-k 融合进索引器内核消除了 logit 的写出和读回;在解码中用前一步的选择结果作为猜测,只需一次遍历即可验证,在 DeepSeek V3.2 和 V4 上比标准 radix select 快 2.1 到 2.4 倍。

最后,选择粒度决定了核心注意力的效率。Token 级选择(如 DeepSeek DSA)让 k 个键散落在缓存各处,每个查询的访问模式都不同,两个查询几乎不可能共享一次取数。块级选择(如 GLM 5.3 Flash、QSA)让键以连续块的形式被取出,一次地址服务一整块,多个查询可以共享同一块的取数。NVIDIA 测量表明,在 2048 个选中键的预算下,块大小从 128 减半到 64 几乎使核心注意力运行时翻倍——因为每个块都引入一次查询加载、一次部分结果和一次合并步骤。

需要指出的是,以上所有测量和结论都来自 NVIDIA 自家生产级 FP8 内核在自家 GPU 上的运行。Tensor Core 瓦片大小、CUDA 核心与 Tensor Core 的调度关系、HBM 带宽特征都是 NVIDIA 架构特有的。这些指南对 AMD MI 系列、Google TPU 或其他加速器的适用性未知。此外,文中的加速比均为厂商自测,尚无独立第三方复现。

信息源:NVIDIA Technical Blog

研究
下一页 →
登录 / 注册
阅读研究雷达投资体系