阅读

据TechNews报道，纽约AI基础设施初创公司Fragment宣布完成1200万美元融资，由FirstMark和BoxGroup共同领投。该公司专注于为执行财务操作的AI代理（AI Agents）提供安全控制层，以应对随着“代理式商业”兴起而日益增长的企业需求。

Fragment的核心技术是将“复式簿记”（double-entry bookkeeping）逻辑嵌入软件中，确保在资金实际流动前交易数字保持平衡。这一机制旨在完整记录资金来源与去向，从而降低AI代理因幻觉、错误或绕过安全限制而导致重大财务损失的风险。此前，Fragment已完成由Stripe领投的1100万美元种子轮融资。

目前，Fragment已积累约50至60家付费客户，其中包括企业信用卡公司Ramp、财务软件公司BILL以及数字市集Whop。尽管估值未公开，但知名投资方和现有客户表明，市场正开始重视对AI自动处理付款环节的安全管控。

美国AI公司Anthropic于2026年10月22日宣布，将其开发的Agent Skills标准捐赠给Linux基金会旗下的Agentic AI Foundation（AAIF）。该基金会由Anthropic、Block和OpenAI于去年共同创立，此前已接收了Model Context Protocol（MCP）规范。

Anthropic在官方声明中表示：“我们致力于保持Agent Skills的开放性、社区驱动和供应商中立。”此举意味着该标准不再由单一厂商控制，而是交由中立机构管理，旨在减少开发者对特定AI模型的依赖，促进不同平台间智能体技能的互操作性。

知名开发者Simon Willison指出，这一动向符合其去年12月的预测，即Anthropic会将Skills标准纳入AAIF体系。随着MCP和Agent Skills相继进入同一基金会，AI智能体的底层通信与能力扩展机制正加速向开放标准靠拢。

谷歌（Google）于2026年10月22日宣布推出Agent Compute Engine，这是一项专为AI智能体设计的服务，旨在为每个智能体提供独立的硬件隔离微虚拟机（microVM）。该服务目前已在内部支持Gemini模型，并计划在未来几个月内开放预览。

据谷歌介绍，这些微虚拟机由谷歌的Titanium安全芯片保护，实现了硬件级别的隔离。当智能体处于空闲状态时，其虚拟机将自动暂停以释放资源供其他智能体使用。此外，通过虚拟机间的共享内存机制，显著降低了单个智能体的运行成本。谷歌声称，在测试环境中，该技术可使单台服务器承载的智能体数量增加至原来的10倍；在涉及20万个智能体的测试中，虚拟机的挂起和恢复延迟低于500毫秒。

这一效率提升源于对传统虚拟机高开销问题的解决。随着AI智能体系统的普及，计算资源的隔离与调度成为基础设施的关键瓶颈。谷歌同时开源了名为Agent Substrate的Kubernetes运行时，以支持这一架构。在治理方面，谷歌增加了令牌追踪、模型路由功能，并支持Ping Identity和SailPoint等第三方身份提供商，相关控制措施将扩展至Cloud Run、GKE及托管端点。

大多数团队能让一个智能体完成一次任务。让同一个智能体在第100次相同请求上完成该任务、以可预测的成本、在失败时留下可读的追踪记录——这是完全不同的工程问题。Weights & Biases by CoreWeave博客作者Shreyan Basu Ray在2026年7月发表的一篇长文中，将这一差距的核心机制归结为一句话：成本驱动因素是循环每次迭代重发累积上下文。

具体而言，一个十步智能体并不做十次小调用，而是做十次越来越大的调用。系统提示、工具schema、对话历史、每一步的工具返回结果全部在每次迭代中重新发送。Anthropic报告的数据给出了形状：智能体交互的token用量约为聊天交互的4倍，多智能体系统约为15倍。智能体工作负载的输入输出token比经常达到100:1甚至更差，这意味着智能体成本是一个输入token问题，而非输出token问题——基于聊天定价的直觉会差一个数量级。

文章用一个客服工单分诊智能体的具体算例展示了机制：假设6000 token系统提示加工具schema、8步、每步增加约1500 token的工具结果和推理、每步300输出token，一次运行总计约90000输入token和2400输出token。按代表性前沿定价（输入每百万3美元、输出每百万15美元），约0.31美元每任务。对比同一系统提示的单次分类调用约0.02美元，智能体贵了约14倍，而全部差异来自跨轮次重发的上下文。

如果将稳定的系统提示做缓存（典型缓存读取率为基础输入的十分之一），同一运行降至约0.18美元，约42%的降幅。在每月10万次任务的规模下，仅这一项变更价值约13000美元。一项跨三家主要提供商在多轮研究基准上的系统评估发现，提示缓存将API成本降低41%至80%，首token时间改善13%至31%，且节省随提示规模增长，在50000 token提示时接近90%。

但文章强调一个反直觉发现：朴素的全文缓存不是最优策略。仅缓存稳定系统提示在成本和延迟上一致性最好，因为全文缓存会为永远不会被复用的动态工具调用和结果触发缓存写入，增加开销而无对应读取。在一个模型上，全文缓存导致约9%的延迟回退，而仅系统提示缓存改善了约31%的延迟。实践规则因此非常具体：保持可缓存前缀稳定，不要在系统提示开头放时间戳、会话标识符或用户特定字符串，因为开头一个不同的token就会使整个前缀失效。

架构选择对成本的影响远大于模型选择。文章指出已发表证据中最强的架构级节省是模型分层编排：贵模型规划和委派，便宜模型执行。Anthropic在其多智能体文档中报告，在BrowseComp基准上，一个编排模型委派给更便宜的工作子智能体达到了全前沿配置96%的性能，成本仅为46%——具体为86.8%准确率每问题18.53美元，对比90.8%准确率每问题40.56美元。机制很简单：编排者只看计划和摘要，而工作智能体以更低费率吸收大量token密集型的读写。

这一节省成立有两个条件：工作智能体不能真正需要前沿推理来完成其子任务，否则你会通过重试付两次钱；重复调用应落在同一个工作智能体上，使每个保持自己的热缓存而非重新为共享上下文付全价。

比成本更隐蔽的问题是成功率的诚实测量。τ-bench引入了pass^k——同一任务k次独立尝试全部成功的比例。结果令人清醒：一个在单次尝试中解决超过60%零售任务的智能体，在要求八次全部成功时降至约25%。一个看起来像60%表现的系统，诚实测量下接近四分之一。如果智能体面对真实用户，第100次相同请求比第一次更重要。

MAST多智能体系统失败分类法基于七套框架超过1600条标注执行轨迹的分析，识别出14种失败模式。约40%属于规范与系统设计问题，约三分之一属于智能体间对齐失败，其余属于验证失败。作者明确指出基础模型能力提升不足以覆盖整个分类体系——等待下一代模型来修复可靠性，证据表明那将是一段漫长的等待，因为缺陷在系统设计本身。

这种成本结构直接改写了推理基础设施的优先级。在输入输出比约100:1的工作负载中，GPU时间的大头花在处理输入而非生成输出——瓶颈是上下文，不是生成。KV缓存命中率因此从调优细节升格为一等运维指标，因为高命中率直接消除主导成本。

文章给出的优化顺序是：先修上下文，再做缓存，然后路由，最后考虑训练，每步之后都要测量。跳过中间步骤直接换更大的模型，通常发现多付了钱去解决一个本应属于上下文层的问题。

Gartner在2025年6月预测，到2027年底超过40%的智能体AI项目将被取消，列出的原因是不断升级的成本、不清晰的商业价值和不足的风险控制。模型能力不在该清单上——失败是经济和管理的，不是能力的。

每次调用成本会美化智能体。如果分诊智能体成功率70%、失败后重试一次，有效每成功任务成本远高于每次运行数字，因为失败的运行在失败前已经消耗了完整token预算。忽略失败运行的基准或仪表盘永远让智能体看起来比实际便宜。

已发布基准数据中同样的效应：在SWE-bench验证子集上，多个配置达到完全相同的54.0%准确率，成本却从约259美元到约1790美元不等——同一准确率，约七倍的花费。没有成本轴，排行榜无法告诉你该部署哪一个。

预算收紧时存在有据可查的悬崖。TestEvo-Bench中，将每任务花费上限设为1美元，一个智能体在测试生成上的成功率从70.6%降至44.2%，另一个从59.5%降至18.8%。预算上限是真实控制手段，但不是免费的，不同智能体在预算压力下退化的方式差异很大。

token花费只是可见部分。生产预算还承担工具和API调用成本、检索和向量数据库基础设施、追踪存储与可观测性、评估开销、人工升级处理——后者往往是智能体路由到人时最大的真实单位成本——以及维护工具契约的工程时间。

尾部比均值更重要。递归生成子智能体或遭遇重试风暴的智能体产生的运行成本可比中位数高几个数量级，没有每次运行上限时这些运行是无界的。从第一天起在追踪中标注每次任务成本并按结果分类，才能计算每成功任务成本、每升级成本和成本分布。

文章同时划定边界：当确定性规则、SQL查询、分类器、搜索索引或RPA脚本能可靠解决任务时，智能体是错误的工具。智能体增加延迟、成本、非确定性和运维面，需要真正的不确定性或适应性问题来证明其合理性。选择确定性替代方案不是退步，而是把工具和问题匹配。

多智能体领域存在一个有启发的分歧。Anthropic报告其多智能体研究系统在内部评估上比单智能体配置高90.2%，但同时报告约15倍token乘数且token用量解释了大部分性能方差。Cognition在《Don't Build Multi-Agents》中持接近相反的观点：基于部分上下文的智能体做出冲突决策，单线程产出更连贯。两者对不同的任务形状都是对的——前者是广度优先研究，子任务真正独立；后者是写代码，每个决策约束下一个。

贯穿所有选择的建议是：选择满足任务的最少自主性架构，然后只在流程确实需要运行时决策的地方添加智能体灵活性。架构决定成本，任务形状决定架构。

生产环境的问题不是智能体能否完成一次任务，而是工作流能否安全失败、在评估中持续改进、并留在延迟和成本预算之内。当前设计共识中的每一项——从显式终止条件到类型化工具到轨迹评估——都存在，是因为有人已经为不这么做的代价付过学费。在扩展之前先与确定性基线比较：如果智能体无法在可衡量的维度上胜过基线，那也是有用的结果，而且现在学到的代价远比上线后小。

美国风投机构NEA合伙人Philip Chopin和Hunter Worland在解释为何领投巴黎和伦敦企业现金管理平台Spiko的9000万美元B轮融资时，用一句话开场：太多企业在付费亏钱。更准确地说，它们支付管理费、绩效费和交易费，持有每年都在通胀调整后损失购买力的现金。

他们指出的问题不是某家银行利率太低，而是企业现金管理的底层基础设施仍停留在20世纪。每一层由不同机构运营、使用不同账本、通过隔夜批量文件对账、再以过时的界面暴露给客户。结果是：企业每年集体损失数十亿欧元的收益，仅仅因为现金下面的管道没有被重建。

在这个诊断之上，Chopin和Worland将代币化定义为金融基础设施的下一个基础性转变。其机制是：资产被迁移到共享账本上，所有权和余额存在于单一可编程账本中，从而实现即时结算、连续收益累积和软件驱动的工作流，取代批量处理和人工操作。

他们进一步提出一个更远的连接：同一结构也是将越来越多地运行财务职能的AI代理的自然基础。在传统银行和过户代理基础设施上，自动化财务困难重重，因为每个动作都需要对账多个割裂账本并等待隔夜文件；而在代币化栈上，AI代理可以执行智能合约、自动将多余现金扫入收益、提交抵押品、在护栏内重新平衡敞口，把今天静态的财务余额变成始终在线、自我优化的系统。

关于为何从欧洲切入，作者给出三个条件：非金融企业获得的收益明显低于全球同行、银行技术投入不足、以及Spiko已经组装了完整的监管许可栈。他们同时认为机会根本是全球性的，同样的架构适用于美国、拉美和亚洲。

需要读者注意的边界：NEA是本轮领投方，本文是其投资论点的公开陈述。文中引用的约27亿美元管理规模和超过10000名客户数字来自公司自报，截至2026年9月，可在Dune公开面板查看，但NEA在免责声明中明确表示某些信息来自第三方来源且未经其独立验证。数十亿欧元收益损失是作者估计，未给出方法论。AI代理运行财务职能是作者的前瞻判断，不是已实现的事实。代币化现金基金能否从欧洲企业现金的补充工具演变为主流基础设施，取决于监管环境、机构采纳速度和实际运营中的摩擦，这些在本文论证中尚未展开。

Datalab于2026年发布的OmniParseBench是一个开放文档解析基准，用16288条通过/不通过的小测试覆盖2937页文档，从扫描表单、手写到arXiv数学公式和密集表格。它公布了27个解析器的逐条判定结果，任何人都可以下载这些判定文件并重新计算排行榜。

一位开发者没有直接引用排行榜数字，而是把已发布的判定文件拉下来，用基准自己的评分函数重算了全部条目。重算确认了排行榜卡片上108个数值全部可以复现，但同时也暴露了三个值得注意的问题。

第一个问题：前两名实际上是平局。Datalab accurate与Gemini 3.8 Flash的headline均四舍五入至92.9，差距仅0.024个百分点。开发者用文档级bootstrap——即对2343份文档有放回地抽样2000次，每次重算headline——来估计排名的不确定性。结果发现，两者差距的95%置信区间从约负0.9到正0.9，跨越零。在每次抽样中，各自领先约一半的次数。诚实的读法是：无法区分。

为什么用文档级而不是测试级bootstrap？因为同一份文档上的测试倾向于一起通过或一起失败，逐条测试独立抽样会低估不确定性。这个选择本身是审计方法的关键一步。

第二个问题：排名随文档类型翻转。开发者按手写、极小字体、旋转、退化扫描、数学、表格、表单、多栏以及希腊文、中文、西里尔文、亚美尼亚文、老挝文等13个切片分别重算headline。总排名第一的Datalab accurate仅在3个切片中保持领先。Gemini 3.8 Flash在手写、数学和表单上领先；Claude Sonnet 5.5在旋转页面上领先；Mistral OCR在希腊文上领先。亚美尼亚文和老挝文切片分别只有6份和5份文档，开发者明确将其视为提示而非排名。

第三个问题：Datalab自己的发布数字与文件不一致。发布文章和博客给出Datalab accurate为92.7并排在Gemini之后，而文件中的实际值差距仅0.024个百分点——一个四舍五入后相同的平局。开发者逐条核对了发布声明，17项检查中13项成立，4项不成立（包括Datalab的两个排名数字、Indra OCR的复现差异和安慰剂检验的方向）。

还有一个有趣的发现被报告为一个标记而非证明。OmniParseBench的数据集卡片注明Gemini 3.8 Flash和Claude Sonnet 5.5参与了部分测试的创建和验证。开发者用双重差分检验问：这两个明星模型在由视觉模型修正过的102条测试上，是否比在其他测试上表现异常好？结果是在model_review切片上，两者的通过率下降幅度比其他解析器少约25个百分点，而人类审核安慰剂切片显示更小的同方向差距，model_panel切片则方向相反。开发者明确说明这只是一个标记，不构成证明。

实践教训：对任何基准排行榜，先确认你能否拿到逐条判定数据；拿到后用文档级重抽样估计不确定性，不要只看一个headline数字；按自己实际关心的文档类型切片重算排名；核对厂商自报数字与公开文件是否一致；锁定版本号和数据集commit，因为仓库会随解析器增加而变化。

语音智能体最常见的延迟体验问题不是模型生成太慢，而是合成启动太晚。用户问了一个问题，语言模型已经在逐token生成回复，但文本转语音模块要等整个回复完成才开始工作。一句回复可能600毫秒就生成完毕，但完整的多段落回复需要五秒，而集成逻辑等的是这五秒。用户在这五秒里什么也听不到。

AWS SageMaker AI团队在2026年10月22日发布的技术方案指出，解决这个问题的关键不是让合成和生成并行运行，而是改变合成启动的时机：语言模型每产出一个完整句子，就立刻把这句话送入TTS模型，不等后续内容。他们把Kokoro-82M（仅82M参数）部署在SageMaker AI实时端点上，通过双向WebSocket流保持一个持久连接，逐句发送文本、逐句接收音频。

这里有一个容易误解的地方。团队明确说明这不是并发合成——双向处理器的循环是严格顺序的：接收一条消息，合成它的音频，发送音频，发送完成信号，再接收下一条。第二句的音频不会在第一句还在传输时就开始生成。增量发送真正买到的是：第一句的合成在它存在的那一刻就开始了，而不是等完整回复。对于多句回复，首句和末句之间有真实的生成时间差，这个差值就是全部的延迟收益。

隔离测量显示，仅发送首句（而非完整四句文本）将TTS传输层的首音频字节时间从329.3毫秒降到156.7毫秒，相对改善52.4%。端到端对比中，双向流式模式比批量模式快2.4倍（本地容器）和3.5倍（部署后的AgentCore运行时）。差距在加入真实网络跳数后反而扩大，因为流式模式把网络开销吸收在生成与合成的重叠窗口内，而批量模式每一步串行等待都直接暴露网络延迟。

传输层还有第二个成本。如果前端已经用SSE流式传输文本，团队测量了把音频base64编码后塞进SSE事件的代价：载荷膨胀约33%，且SSE的分隔符（空行）与MP3内部帧边界不对齐——实测中四个逻辑MP3帧被分成六个传输块到达，其中两个在帧中间截断。他们对比了MP3 48kbps和AAC 32kbps fMP4两种编码，用Amazon Transcribe确认解码质量无差异。

对于已有SSE管线的项目，base64方案是务实选择，代价是33%额外载荷和缓冲重组步骤。对于从零构建语音路径或延迟优先的场景，团队推荐在同一双向会话上直接复用二进制音频和JSON控制帧——区分规则是：如果一个数据块无法解析为合法JSON对象，它就是音频。这个规则能工作是因为原始PCM音频虽然可能以字节0x7b（左花括号）开头，但整个PCM帧几乎不可能恰好构成合法JSON。

所有数据来自AWS团队在自家SageMaker AI端点和Bedrock AgentCore运行时上的自测，未提供独立第三方复现。Kokoro-82M的82M参数规模适合单张中端GPU实例运行，但文章未给出合成语音的主观质量评估或与其他TTS模型的质量对比。示例容器固定了存在已知安全公告（PYSEC-2026-2286）的旧版PyTorch，团队注明在正式使用前需升级。

本期节目由技术媒体Latent Space于2026年10月22日发布，嘉宾为美国AI基础设施公司Modal的联合创始人兼首席执行官Erik Bernhardsson。节目主题聚焦于“为什么AI算力呈矩形分布”，深入探讨了弹性GPU供应、沙盒（Sandbox）业务的快速增长以及代理云（Agent Cloud）背后的经济逻辑。

根据节目简介，Bernhardsson将解释Modal近期实现10亿美元年化运行率并完成7.5亿美元D轮融资背后的基础设施与经济学原理。核心议题包括：为何传统的固定时长GPU合同（即“矩形”容量）难以匹配实际波动的计算需求；Modal如何通过聚合数千名客户的需求来优化资源池；以及沙盒产品如何从早期被考虑关停发展为占据公司约三分之一收入的关键业务线。此外，节目还涉及NVIDIA替代方案、前向部署工程师（FDE）的角色以及工程文化等话题。

据科技媒体TechCrunch援引Semafor的报道，埃隆·马斯克（Elon Musk）已向新成立的媒体公司Skydance投资约10亿美元。这一消息在派拉蒙完成对华纳兄弟探索公司1100亿美元的收购并组建Skydance几周后传出。

报道称，马斯克的注资时间与Skydance其他投资者（包括董事会成员劳伦娜·鲍威尔·乔布斯/Laurene Powell Jobs）的股权贡献大致相同。这笔资金将为该公司提供急需的财务支持，帮助其在未来三年内实现60亿美元的成本削减目标，并试图提振其股价。

Skydance由David Ellison和Ynon Kreiz共同担任CEO，负责整合Paramount+和HBO Max两大流媒体平台以及CBS、CNN等网络资产。马斯克与Ellison家族关系密切，曾公开赞扬Larry Ellison，并在2018年任命其为特斯拉董事；Larry Ellison也曾于2022年出资10亿美元协助马斯克收购Twitter。

截至发稿时，Skydance未立即回应TechCrunch的置评请求。该投资的具体条款、估值基础及是否构成最终交割尚未由官方确认，目前仅作为媒体报道的事实呈现。

训练大模型时，网络面对的是一个有节奏的问题：数千块GPU同时执行同一个集合通信，周而复始，持续数周。带宽压力巨大，但模式可预测，工程师可以围绕这个节奏来设计。

AI云基础设施公司CoreWeave的Min Jun在2026年8月发表的博客中描述了另一种流量：智能体把任务拆成步骤，调用检索器，调用工具，调用另一个模型，有时调用另一个智能体，每一步都要等前一步返回才能知道下一步是什么。这条串行路径就是智能体链，而它的延迟是每一跳的总和，不是最坏那一跳。

这个区别看似微小，却改变了整个网络设计的逻辑。当数千条这样的链与训练任务和常规推理同时跑在同一组硬件上时，流量不再像批处理作业，而像一场无处不在的、对延迟敏感的、多跳对话。训练从未考验过的假设开始被打破。

Min Jun解释的第一个后果是：不能超卖。当叶交换机向上连接到骨干的容量小于下方节点能产生的流量时，这个缺口在两种流量同时争夺同一条链路之前是不可见的。训练单独运行时可以容忍一定程度的超卖，但混合了同步训练突发和数千条小型顺序智能体请求的网络需要同时满足高聚合带宽和低且可预测的单流延迟，超卖链路无法同时做到这两点。CoreWeave的做法是每一层都保持1:1的无阻塞比率。

第二个后果涉及扩展方式。传统的两层叶-骨干拓扑最终会耗尽交换机的端口基数，解决办法是加第三层，但这增加了跳数——而智能体链恰恰最不能承受额外的跳数和抖动。CoreWeave采用多平面拓扑：把每块GPU的SuperNIC连接分散到两个或更多独立网络平面上，用宽度换深度。Min Jun称这让扁平的两层设计可以扩展到128,000块GPU，是单平面网络覆盖范围的64倍，且无需重新设计。

第三个后果是负载均衡必须从软件移到硬件。传统上由NCCL在软件层决定如何把集合通信流量分散到可用链路，这有两个代价：与主机CPU争抢周期，以及只能事后响应拥塞而非在条件变化时提前绕行。CoreWeave用NVIDIA ConnectX-9 SuperNIC把这项任务移入硬件，让专用硬件路径以线速响应实时拥塞遥测。在其NVIDIA Vera Rubin NVL72部署中，每块GPU的SuperNIC运行最高1,600 Gb/s，交换机与SuperNIC直接协调，用实时遥测而非静态哈希在每条可用路径、平面和轨道上分散流量。

第四个后果是韧性不能集中在一个地方。训练任务停几分钟很贵，但可以从检查点恢复。智能体在十步链的中间卡住，乘以数千条并发链，没有等价的恢复点。Min Jun描述了跨五层构建韧性：拓扑层用多平面和多轨道把流量从降级路径上移开；硅层用BlueField-3 DPU把网络、隔离和策略执行放在专用硬件上，不占用主机CPU；软件层用CoreWeave Kubernetes Service完全去掉hypervisor，使虚拟化故障不会变成租户的问题；运维层用Mission Control在节点越过健康阈值后自动替换；地理层把多个数据中心链接为单一骨干，使跨站工作负载不依赖任何单一设施。

第五个后果是可观测性必须到每一跳。如果慢的那一跳是隐藏的，前面所有设计都无济于事。CoreWeave用NVIDIA网络观测工具追踪从GPU到SuperNIC的逐流性能，把这个智能体链感觉慢这种模糊症状变成工程师可以处理的特定链路或队列。

Min Jun在结尾写道：训练促使行业建造了快速网络，智能体AI将决定哪些网络是为持久运行而建造的。

需要指出的是，这是CoreWeave对自身架构的第一手描述。关于其运营最大的InfiniBand和RoCE网络之一以及最大的DPU部署之一等规模声明均为自报，未经独立验证。128,000 GPU是多平面拓扑的设计上限，文章未说明这是已部署还是规划中的配置。所有性能数字来自厂商自测，非第三方基准。

美国AI云基础设施公司CoreWeave于2026年7月28日在其官方博客宣布，在MLCommons协会最新发布的MLPerf 0.7 Endpoints基准测试中，其使用68块NVIDIA Blackwell GPU组成的GB200 NVL72系统运行DeepSeek-R1推理模型，实现了441,740 tokens/秒的系统吞吐量（在16,384并发请求下），以及最高6,496 tokens/秒的单GPU吞吐量。

MLPerf Endpoints是MLCommons推出的新基准套件，旨在衡量推理服务在现实、并发在线负载下的表现，而非单一数据点。该测试包含DeepSeek-R1这一6710亿参数的混合专家推理模型，因其单次响应可产生数千个输出token而被视为最难的服务工作负载。

CoreWeave强调其结果是在标准生产集群上验证的，使用了与客户相同的网络结构、调度器、存储和Mission Control编排系统，而非为测试专门搭建的隔离环境。公司指出，单GPU吞吐量是最直接反映真实推理服务经济的指标，因为它映射到每加速器的token服务量和每GPU成本。

需要注意的是，上述性能数据均为CoreWeave自报结果，虽经MLCommons Association验证提交过程，但尚未见独立第三方复现报告。此外，单GPU吞吐量6,496 tokens/秒系由系统总吞吐量除以GPU数量推导得出，并非MLPerf官方直接报告的指标。

生产推理服务最难诊断的问题不是宕机，而是'不宕机但一直在变慢'。CoreWeave博客作者Tara Madhyastha和Nisha Nadkarni在2026年6月发表的博客中用一个假设场景说明这种困境：一个医疗问答服务连续运行三周，没有失败告警、没有错误尖峰、仪表盘全绿，但用户投诉陆续到来——回答变慢了，中途有卡顿。拉取指标后发现p99首token延迟从180毫秒升至240毫秒，峰值时段可用性从99.9%滑到99.1%，两者都没有越过告警阈值。用户已经体验了将近两周的质量劣化，而系统从未被判定为'故障'。

作者将这种静默漂移归因于三类结构性原因，它们随负载增长相互叠加。第一是基础设施层的资源争用：通用云为灵活异构负载设计，而推理是连续、延迟敏感、对资源竞争高度敏感的。小规模时请求很少争抢资源，到生产规模GPU争用变成常态，调度开销随请求量增长——在每秒50个请求时可忽略的延迟，到每秒5000个时变得显著。共享网络路径上的邻居噪声最先出现在尾部延迟，p50看起来正常，p99已经不同。

第二是模型服务配置随负载漂移。作者用一个类比解释批处理问题：静态批处理像旅游大巴，等坐满才发车，快请求被迫等最慢的那个；连续批处理像地铁，每站都有人上下，GPU保持满载。但地铁有自己的问题：一个长输入提示（prefill）会占住站台，让已经在途的所有请求（decode）等待，产生token间延迟抖动。KV缓存压力是另一条路径：上下文窗口变长、会话增多时，引擎开始驱逐或抢占在途请求来腾空间，重算开销不体现在错误率里，但体现在p99里。

第三是流量模式与扩缩容的错配。自动扩缩容系统响应已观测到的需求，有固有滞后：新pod大约90秒上线，新节点需要数分钟。突发流量到来时，扩缩容跟不上，请求排队、延迟攀升，持续足够久就开始超时。作者还指出一个更隐蔽的版本：请求形状不均等。如果基础设施按平均复杂度配置，当最重的请求集中出现时，容量饱和速度会快于扩缩容策略的预期。

针对这三类原因，文章给出三个诊断信号：p99持续攀升而p50稳定，指向基础设施变异或配置漂移而非负载问题；TTFT在负载稳定时上升，指向GPU争用或批处理配置；goodput（满足延迟SLA的请求数）与throughput（处理的总请求数）出现差距，说明系统'在运转'但部分用户实际经历了失败——一个95%吞吐量的系统可能仍在让五分之一用户超时，而监控从未记录这次失败。

作者的核心结论是：这些团队把可靠性当作架构属性而非监控问题来设计，选择显式GPU分配、流量感知扩缩容、基于实际负载验证的SLA和可预测网络。需要指出的是，CoreWeave本身销售专用推理基础设施，这一结论与它的商业定位一致；文中所有数字均为假设示例，非实测生产数据。经过良好调度的通用云环境配合拓扑感知调度和预分配策略，也能在相当程度上缓解所述问题。