地平线数据平台重构
2 ステップ1 件3 ソース
地平线机器人(Horizon Robotics)为应对自动驾驶端到端模型转型带来的算力调度挑战,对其多租户数据平台进行了重新架构。在每日需处理800万个并发任务的规模下,传统编排方式导致基础设施不稳定且资源浪费严重。
【背景】随着智能驾驶从规则驱动转向端到端大模型,训练与推理工作流的复杂度呈指数级上升。地平线通过引入“无代理”(Agentless)的集中式 Argo Workflows 服务替代原有的每工作流代理模式,不仅每月节省约240万元人民币的基础设施成本,还释放了超过1000个CPU节点。同时,团队重构元数据以突破 Informer 瓶颈,将 VolcanoJob 大小减少30%,同步延迟从4分钟降至10秒以内,并利用 Kueue 和 Volcano 实现弹性配额管理,解决了大规模多租户环境下的抢占冲突问题。
这一重构表明,在AI驱动的自动驾驶时代,底层基础设施的效率直接决定了研发迭代的速度与成本。目前该方案已在 PyTorch 官方频道分享,显示其技术路径已获得开源社区关注。
経緯
地平线机器人工程师 J. Sun 和 S. Tian 在 PyTorch 官方频道分享多租户数据平台重构案例,披露日处理800万任务的技术细节。
youtube.com ↗Sessionize 页面确认演讲主题《8 Million Tasks Daily》,详述通过集中式 Argo Workflows Agent Service 实现“无代理”架构,月省240万元并节省1000+ CPU节点。
sessionize.com ↗
未解決の問題
- 该重构方案是否已完全覆盖地平线所有业务线,还是仅针对特定高负载场景?
- Kueue 与 Volcano 在地平线集群中的具体配置参数及长期稳定性表现如何?