资讯1 分钟阅读·
RadixArk的Ke Bao谈SGLang与Miles代理架构
RadixArk的Ke Bao在PyTorch官方频道介绍了SGLang和Miles框架,重点阐述其针对代理式工作负载(agentic workloads)的缓存复用、长上下文服务及大规模强化学习支持。
重要性局部证据E2 未复现写法快讯
RadixArk的Ke Bao于2026年9月24日在PyTorch官方频道发表演讲,主题涉及前沿AI基础设施中的SGLang和Miles框架。该视频聚焦于模型在实际部署中的服务层和后训练层性能,特别是当工作负载转向代理式(agentic)任务时面临的挑战。
根据节目描述,Ke Bao讨论了为代理式工作负载设计的关键特性,包括统一基数缓存(Unified Radix Cache)、HiCache以及用于长上下文服务的并行策略。此外,还介绍了HiSparse以及基于SGLang构建的Miles框架,后者旨在通过高性能滚动和完全异步训练来支持高效且可扩展的强化学习(RL)。