阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · OS-Helix智能体1 分钟阅读·2026-10-16

预印本:OS-Helix统一图形界面与代码执行,桌面自动化成功率达66.44%

新研究指出简单添加代码工具会降低GUI智能体性能,需通过混合数据训练实现原生协调。OS-Helix在OSWorld基准上取得显著突破。

重要性实质性证据E2 未复现写法快讯

2026-10-16 12:00

OS-Helix在OSWorld-Verified基准测试中达到66.44%的成功率,较匹配的Qwen3.5混合基线提升42.9%。这一结果来自Bowen Yang等人于2026年10月15日提交的预印本论文《OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents》。

传统方法试图通过提示工程组合GUI操作和代码执行工具,但研究发现这种“提示级工具组合”无法实现有效的原生协调。作者指出,简单地给GUI智能体添加代码工具反而会导致性能下降,表明GUI与代码的路由决策必须通过高质量混合数据的端到端训练来内化。

为解决监督信号问题,团队引入了“应用-工件组合”技术,将桌面应用程序与真实文件工件配对以构建可执行的Ubuntu环境状态,并采用解耦的指令/评估器生成管道,确保任务最终状态无论通过何种方式解决均可验证。模型首先通过SFT冷启动,随后在实时桌面环境中进行在线强化学习优化。

该结果为厂商自测基准(E2),尚未经过独立复现。其核心贡献在于证实了对于复杂的桌面自动化任务,单纯的工具调用拼接不足以替代经过专门训练的混合动作空间能力。

来源

  • 原始出处arxiv.org↗
专题

OS-Helix智能体

上海人工智能实验室等机构发布OS-Helix,一种统一图形界面(GUI)交互与代码执行的原生计算机使用智能体。该研究指出,简单地将代码工具附加到GUI智能体上会导致性能下降,必须通过混合数据训练实现原生协调。

2 节点1 篇更新于 2026-10-16 22:39

事情怎么走到这一步

  1. 2026-10-15论文《OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents》提交至arXiv,作者来自上海AI Lab、中科大等机构。
登录 / 注册
阅读研究雷达投资体系
2026-10-16
预印本公开,显示OS-Helix在OSWorld-Verified上达到66.44%成功率,并揭示了朴素添加代码工具会降低GUI智能体性能的现象。

还没定论的部分

  • OS-Helix在真实生产环境中的端到端延迟表现如何?(对比OSWorld-Human指出的高延迟问题)
  • Step-balanced GSPO算法在其他非桌面自动化任务(如Web导航)中的通用性如何?
  • 混合数据训练的“应用-工件组合”方法能否低成本扩展到更多操作系统和应用程序?
读完整专题 →
带入研究 →