Skydio总监解析无人机自主栈：边缘与云端分工、地图作为世界模型及端到端学习的局限

在AI Engineer World's Fair 2026的演讲中，Skydio检查与测绘总监Suchet Bargoti没有使用幻灯片开场，而是直接从笔记本电脑上启动了停泊在旧金山圣马特奥和科罗拉多州的无人机，并让其中一架自动跟踪一辆汽车。这一演示引出了他的核心论点：要实现“无人机即基础设施”，必须解决操作员注意力瓶颈，并将智能分布在边缘设备与云端之间。

Bargoti指出，传统模式下每个熟练飞行员对应一架无人机的模式无法扩展。随着报警和任务增加，认知负荷成为限制。因此，Skydio的自主栈将即时安全动作（如避障、基本跟踪）保留在无人机边缘设备上，而将更重的推理、长期规划和视觉语言模型（VLM）分析放在云端。这种分工依赖于高质量的视频传输，即使在带宽受限的情况下，也需要优化编码以提供足够的视觉信息供云端决策。

演讲中一个关键机制是“地图作为世界模型”。无人机不仅依赖局部感知，还结合建筑、道路和电力线等矢量数据构建全局地图进行路径规划。更重要的是，这个地图不是静态的：当机队在飞行中发现新建筑工地等环境变化时，这些观测数据会反馈到地图同步流程中，更新后的地图随后被所有无人机共享。这形成了一个数据飞轮，使系统能随环境变化自我维护。

在对象跟踪方面，Bargoti展示了如何处理遮挡：系统需要维持对隐藏物体的隐式表示，并预测其出现位置以调整自身移动。对于更复杂的语义理解，例如寻找“白色吉普车”，系统使用VLM代理访问无人机API来指挥搜索轨迹，并在发现目标后调用跟踪工具。这种方法避免了为每种情况编写硬编码规则，而是让代理组合现有能力。

然而，Bargoti也明确了端到端学习的边界。尽管完全由原始传感器数据直接输出动作是长期愿景，但在物理系统中，可靠性要求极高（他提到99.9999%，但未定义分母）。目前，纯端到端系统在故障诊断和建立可靠性保证方面仍面临困难。因此，Skydio的策略是在某些环节使用强化学习或端到端方法，而在需要高可靠性和可解释性的部分保留显式的世界模型表示和结构化控制。