AI代理可控自主权机制
6 节点1 篇7 来源
随着大语言模型代理（Agentic AI）从对话转向执行代码和调用外部工具，如何赋予其真正的自主权同时确保人类控制成为核心议题。2026年10月，Two Sigma架构师John Feminella提出五项可组合的控制措施，包括代理注册表和基于风险的审查，旨在不完全锁死系统的前提下实现可控性【背景】。同期，IBM团队发布AGENTSAFE框架，将风险分类转化为设计、运行时和审计控制；上海人工智能实验室推出ClawSentry，通过多层级安全监控降低技能注入攻击成功率至2.61%。学术界亦在探讨“可控性”作为独立于“对齐”的安全目标，Stanford研究指出需建立透明控制层以平衡安全与自主。欧盟学者则呼吁在法律层面确立代理的问责机制。当前争议在于：自动化监督的可扩展性与人类判断的合法性之间是否存在不可调和的张力，以及现有护栏是否能在多步交互中保持持久权威。
事情怎么走到这一步
Stanford大学William Overman等人发表《The Oversight Game》，提出通过最小控制接口让代理学习何时自主行动、何时请求人类监督，以实现内在对齐。
arxiv.org ↗IBM软件团队提交预印本《AGENTSAFE》，提出统一治理框架，将MIT AI风险库操作化为设计、运行时和审计控制，强调加密追踪和动态授权。
arxiv.org ↗Philipp Hacker和Matthias Holweg发布工作论文，分析欧盟AI法案下代理的法律地位，建议实施基于风险的“红绿灯”任务授权系统和不可委托法律行为清单。
arxiv.org ↗Springer期刊《Minds and Machines》发表综述《On Controllability in Agentic AI》，区分因果控制与规范控制，指出自动化监督可扩展性与人类判断合法性之间的未解决张力。
link.springer.com ↗上海人工智能实验室发布ClawSentry开源安全网关，通过渐进式多层监控，在SkillInject基准测试中将上下文攻击成功率从39.55%降至2.61%，同时保持高任务成功率。
arxiv.org ↗