是石科技发布TokenFleet调度框架：称GLM测试中P95首Token延迟降32.4%
是石科技推出TokenFleet集群调度方案，通过优化请求路由与跨机房协同，宣称在GLM5.3测试中显著降低首Token延迟并提升达标吞吐。
重要性局部证据E2 未复现写法快讯
2026年10月20日，中国算力运营商是石科技（METASTONE）在CCF全国高性能计算学术大会上发布了名为TokenFleet的分布式调度框架。该框架旨在解决GPU集群中请求排队与资源闲置同时发生的问题，通过优化请求路由、跨机房容量协同和混合负载治理，提高现有算力的有效产出。
TokenFleet包含三项核心技术：TokenPilot负责智能推理路由，在选点时同时估算缓存复用收益与排队代价；FleetMind面向跨机房容量协同，汇聚各机房的模型可用性与网络状态以选择执行机房；SLOMax则按服务要求安排生产，通过分类队列与容量反馈协调混合负载。
据是石科技提供的GLM5.3调优数据显示，在所测显卡集群与负载条件下，采用预测延迟路由后，P95首Token延迟降低32.4%，P50首Token延迟降低71.3%。此外，在流控协同调度下，总输出吞吐增加约1.5%，但达标输出吞吐（Goodput）提高了约29.4%，达标比例从约67%升至约86%。
是石科技强调，上述数据属于厂商自测的收益测算示例，实际收益需结合具体负载与服务门槛验证。作为独立第三方全栈算力运营商，是石科技目前纳管超过20000P+算力资源，其团队曾荣获3项戈登·贝尔奖。