SambaNova在SambaCloud部署智谱GLM-5.3,称推理速度超200 tokens/s
SambaNova宣布其云平台已支持智谱最新开源模型GLM-5.3,并展示了针对长周期编码代理的高吞吐量和缓存效率数据。
AI芯片与云服务厂商SambaNova于2026年11月11日宣布,智谱(Z.ai)的旗舰开源模型GLM-5.3现已在其推理云平台SambaCloud上运行。该模型专为复杂软件工程及长周期代理任务设计,SambaNova称其在Terminal-Bench 3.0和DeepSWE v1.1等基准测试中取得了开源权重模型的领先成绩,且相比部分闭源前沿模型使用了更少的输出token。
为了展示实际性能,SambaNova提供了一个典型的代理运行追踪:在一次持续17分30秒的任务中,模型进行了41次调用,处理了540万输入token,但仅生成约4.2万输出token。由于代理循环中每一步都会重新发送之前看到的所有上下文,输入token从第一次调用的38K增长到第八次的114K以上。SambaNova指出,在该运行中超过91%的输入由缓存提供服务,这使得每次调用的延迟保持在较低水平,从而让开发者能在实时交互中完成整个任务。
目前,GLM-5.3在SambaCloud上的推理速度超过200 tokens/s。这一高吞吐量特性使其适用于需要频繁工具调用和快速反馈的生产环境代理工作流。