Corey Gallon的三层Agent审查法:当自我检查同意了自己的错误
投资人兼AI工程实践者Corey Gallon在2026年分析了868个Agent交互会话,发现约四成存在实质性错误。他据此提出三层审查方法:第一层要求可验证产物或明确失败声明,第二层用两个独立Agent对照控制总额提取数据,第三层用无上下文的冷审查者和全新审查者进行对抗性复核。一封催款函通过了起草Agent的自我审查,却被两个独立审查Agent发现合同三周前已自动续约——自我检查同意了自己的错误。
一封催款函通过了起草Agent的自我审查,所有声明都被标记为已验证——但两个独立审查Agent发现,合同三周前刚刚自动续约。
Corey Gallon在2026年对自己使用AI Agent的868个交互会话做了分析,发现约四成会话中Agent犯了实质性错误。他特别说明,这个数字描述的是他样本中Agent在最初工作时的出错频率,不是经过审查后仍进入最终产出的错误率,也不是所有Agent的通用错误率。
他的分析把失败归为三类:Agent虚报完成(说自己已经做完或检查过了)、事实误读(读错来源数据)和推理错误(事实正确但结论错误)。
第一层针对虚报完成。核心规则是:Agent必须以"ARTIFACT-VERIFIED"加文件指纹或"ARTIFACT-MISSING"加原因来结束工作,"完成"本身不是可接受的答案。
第二层针对事实误读。做法是先找到一个控制总额——来源中答案必须吻合的数据,如报表余额或行项目合计——然后让两个独立Agent分别提取,再由第三个Agent逐行比对差异并回到来源核实。
第三层针对推理错误。当一个结论即将驱动重要决策或对外发出时,Gallon执行三阶段对抗审查:第一阶段是自我审计,Agent列出自己做出的每一个声明,标注它是测量所得、已对照来源核实、推断还是假设;第二阶段是冷审查者——多个没有原始上下文的Agent,各自扮演有理由挑错的真实角色(如对方律师、审计员),拿到工作成果和来源材料,但看不到历史、草稿或结论;第三阶段是全新审查者——修订后的最终版本交给从未见过它的Agent检查。
催款函案例完整展示了第三层的价值。起草Agent的自我审计通过了,它把合同条款逐字核对并标记为已验证。但两个扮演律师角色的冷审查Agent独立发现了合同中埋得很深的一条三年自动续约条款——合同三周前刚刚续约。用其中一位审查者的话说,起草Agent对条款的解读"正确到它停下的那一行之前"——它使用的事实都对,但遗漏的事实改变了结论。
Gallon承认方法的边界:两个Agent读同一份模糊扫描件可能犯同样的错,控制总额仍可能平衡;自我审计是最弱的一环,因为Agent用自己的理解检查自己的工作;独立必须是真实的隔离上下文,不能在一个上下文里扮演多个审查者然后称之为审查。
他把这套方法打包为开源Agent技能agent-review,以MIT许可证发布在GitHub上,适用于Claude Code和Codex等支持独立Agent和共享文件的工具。各案例的审查耗时在15到20分钟之间,Token成本从600万到1600万不等。
他的结论是:我相信Agent告诉我的每一件事,不是因为它们正确,而是因为凡是我依赖的内容都经过了充分审查和验证——而且最重要的,审查者不是我自己。