Unblocked创始工程师Peter Werry:通过验证的查询仍然可能答非所问
Unblocked创始工程师Peter Werry在2026年AI Engineer World's Fair演示了一个文档查询引擎,揭示了一个容易被忽略的Agent工程问题:错误反馈让模型避开危险操作,但通过验证的重试仍可能返回语义上答非所问的结果。修复方法是给模型新能力(如全文搜索),而不是更多重试。
Peter Werry在演示中向Unblocked的文档查询引擎提出一个看似简单的问题:找出标题包含authentication的PR。模型首先尝试正则表达式,被验证器拒绝——正则表达式在策略中不允许。错误反馈回传给模型后,它改用精确标题匹配,这次通过了验证,但没有任何PR的标题恰好等于那个字符串。Werry指出,模型找到了一个被允许的操作,却丢失了用户真正想要的搜索行为:通过验证只说明查询被允许执行,不说明它表达了用户的意图。最终解决这个问题的不是更多重试,而是给引擎增加全文搜索能力——反馈让模型避开禁止操作,新能力才让它能回答原始问题。