Anthropic推出消息线程功能,长上下文代理响应延迟降低约35%
Anthropic在Claude平台推出“消息线程”公开测试版,通过仅发送新消息而非完整历史,使长运行代理的首字生成时间(TTFT)降低约35%,显著优化了复杂编码和计算机使用代理的响应速度。
Anthropic于2026年11月2日宣布,其Claude平台上的Messages API现已提供“消息线程”(message threads)功能的公开测试版。该功能旨在解决长期运行的AI代理在每次交互中需重新发送完整对话历史导致的延迟问题。
在传统模式下,编码代理或计算机使用代理可能在一次会话中发起数百次请求,每次请求都包含所有先前的消息和工具结果。当对话达到数十万token时,重新发送所有内容会显著增加首字生成时间(TTFT)。启用消息线程后,代理只需发送自上次交互以来的新消息及前一个响应的ID。Anthropic表示,对于拥有50万至100万token上下文的请求,中位TTFT降低了约35%。
技术实现上,Anthropic在服务端内存中加密保存每个线程的状态,不写入磁盘。线程在最后一次请求后5分钟过期,之后客户端需重新发送完整对话以启动新线程。尽管每次请求的数据量减小,但Claude在每一轮仍读取完整对话,因此token用量保持不变。
该功能特别适用于对延迟敏感的活跃会话,如长运行编码代理、计算机使用代理以及文档和图像密集型工作流。目前,消息线程已在原生Claude平台、AWS上的Claude平台、Microsoft Foundry中的Claude以及Google Cloud上的Claude模型(由Anthropic管理)中可用。标准Claude token费率和现有限制适用。