NAVER发布DroneCATS基准:小模型导航强但无法正确终止,微调2B模型实飞超越前沿大模型
DroneCATS显示多模态大模型在无人机控制中主要失败于“到达声明”而非导航,微调后的2B小模型在真实飞行中表现优于前沿模型。
重要性实质性证据E2 未复现写法快讯
NAVER云团队发布的DroneCATS基准测试表明,制约多模态大语言模型(MLLM)作为通用视觉-语言-动作代理控制无人机的关键瓶颈并非空间感知或导航能力,而是执行终止动作的协议纪律。
该研究评估了从前沿模型到小型开源模型的十种MLLM,发现小型开源模型往往能更可靠地进入成功半径,但因过早或未能声明“到达”而输掉任务;相比之下,前沿模型虽成功率较高,却因延迟导致丢失移动目标。
基于此失败分析,团队对一款2B参数模型进行了微调,其在模拟环境中的成功率从0%提升至31%,并在真实无人机飞行测试中超越了前沿模型的表现。