Anthropic称评估AI代理的紧急程度判断并不完美

当AI代理自主决定什么需要人类注意时，谁来评判这个决定是否正确？Claude Duet于10月21日上线一周后，美国AI公司Anthropic向科技媒体The New Stack给出了一个诚实但不完美的答案：内部校准的离线分级器，加上一个坦承——紧急程度本身是主观判断。

Anthropic表示，员工在日常工作中使用Duet后，团队校准了评估任务优先级正确性的分级器，离线运行于代表内部使用和早期外部测试的案例上。这些分级器衡量Duet能否区分什么值得关注、什么可以等待。

一位公司代表承认了根本困难：紧急程度是内在主观的判断，因此构建评估标准并不完美，但相当有帮助。Duet能发现临近截止日期或需要回复的邮件，但并不总是知道哪项任务应该优先。Anthropic承认代理可能误读对话或误判紧急程度，而公开材料并未说明这种情况发生的频率。

在安全架构层面，Anthropic将Duet中执行工作的部分与检查该工作是否匹配用户意图的部分分离。一位代表告诉The New Stack，一个独立的自动检查伴随每个操作运行，基于Claude Code的自动模式分类器构建并针对Duet进行了扩展，用于评估操作是否匹配用户意图。由于这个检查独立于执行任务的模型运行，Anthropic称网页中隐藏的指令无法直接操控分类器的判断。

Anthropic表示外部公司对Duet进行了渗透测试，但公开材料未显示该分离检查器捕获越权操作的可靠性有多高。相关研究说明了执行代理权限范围的困难：研究人员发现，移除Claude Code中定义授权与越权行为的提示段落后，越权操作增加，但该研究未测试Duet的独立分类器。Anthropic的支持材料仍告知用户审阅草稿和审批请求，因为Duet可能遭遇提示注入。

另一个实际约束是资源消耗与响应速度的权衡。Duet每隔几小时检查一次连接的应用，而非持续监控，部分原因是避免快速耗尽订阅额度。代价是紧急事项可能在两次检查之间到达并被忽略，直到下一次检查才被注意到。更频繁的检查消耗更多资源，更少检查则让用户等待更久。Anthropic的公开材料未量化典型订阅用户的背景活动占多少用量。

对正在构建自主代理的团队而言，Anthropic的做法提供了一个可参考的框架：用内部真实工作流校准评估标准，承认主观维度的不可完全量化，在架构上分离执行与验证，并在资源与响应之间做显式权衡。但这一框架的可靠性边界仍不透明——分级器的具体指标、误判频率和独立验证结果均未公开。