计算机使用代理
7 steps1 pieces7 Sources
【背景】计算机使用代理（Computer-Use Agents, CUA）是指能够像人类一样通过视觉感知屏幕并操作鼠标键盘来执行任务的AI系统，旨在解决无API接口或遗留系统的自动化难题。
自2025年初OpenAI推出Operator预览版以来，CUA技术迅速从实验室走向企业级应用。2026年，微软在Copilot Studio中正式集成该能力，标志着其成为主流办公自动化工具。然而，学术界最新研究表明，尽管GUI模式在基准测试中表现优异，但CLI（命令行界面）模式在技能覆盖完善后成功率更高，揭示了当前代理在长周期工作流中的接地交互瓶颈。与此同时，风险投资机构如a16z正积极呼吁构建可规模化的CUA，以替代企业内部依赖人工复制粘贴的“人类API”环节，推动AI代理从演示阶段迈向生产环境的大规模部署。
How it got here
OpenAI发布Computer-Using Agent (CUA) 模型及Operator预览版，展示其在OSWorld等基准上的SOTA性能，强调通过视觉和强化学习实现通用界面交互。
openai.com ↗RIIS博客详细解析基于OpenAI API构建CUA的技术架构，指出该技术仍处于Beta阶段，不建议用于生产环境，并介绍了CUA循环机制。
riis.com ↗腾讯云开发者社区文章对比computer-use与browser-use两种模式，分析其在操作系统控制与浏览器自动化方面的技术实现差异及应用场景。
cloud.tencent.com ↗NYU Shanghai与Yale NLP Lab联合发表论文，提出匹配执行层基准，发现GUI代理受限于长周期工作流的可靠接地，而CLI代理受限于技能覆盖范围。
alphaxiv.org ↗Microsoft Learn更新文档，介绍Agent Framework中原生计算机使用工具的实现方式，包括安全检查和结果返回机制，支持Windows桌面及Web应用自动化。
learn.microsoft.com ↗