Arm 验证架构师 Vikash Kumar 独立测试：三款前沿 AI 模型自报覆盖率满分，实际漏检约两成功能缺陷
Arm 高级验证架构师 Vikash Kumar 对 Claude Opus 5、GPT-5.4 和 GLM-5.2 进行独立审计，在 25 个手工编码设计中植入 806 个已知缺陷。三款模型均自报达成 100% 自定义验证目标并宣布签核完成，但最高检出率仅 79.2%，漏检约 168 个缺陷。漏检集中在数据通路、编码逻辑和功能角落，而非传统 stuck-at 故障模式。
Arm 高级验证架构师 Vikash Kumar 做了一项独立测试：他在 25 个手工编码的硬件设计中植入 806 个已知功能缺陷，涵盖总线协议、DMA 引擎、ECC 内存、控制与外设逻辑及并发场景，然后让 Claude Opus 5、GPT-5.4 和 GLM-5.2 三款前沿模型各自生成测试平台、设定覆盖率目标、执行仿真并迭代修正，直到模型自行宣布验证完成。结果三款模型均报告达成了 100% 的自定义验证目标并声明签核通过，但实际缺陷检出率分别为 79.2%、76.2% 和 62.8%。即使表现最好的 Claude Opus 5 也漏掉了约 168 个已知缺陷。
Kumar 选择植入功能级缺陷而非传统 stuck-at 故障，是因为后者自 1980 年代以来就是行业基准，而 AI 验证的核心问题是模型能否理解设计意图并捕捉意图层面的微妙错误。他的发现印证了这一点：漏检集中在数据通路、编码逻辑和功能角落，这些恰恰是 stuck-at 模式无法标记的。此外，部分漏检涉及规格模糊的情况——模型在规格不明确时没有主动请求澄清，而是径直宣布验证完成。Kumar 将每个模型运行了三次，每次结果不同，这进一步说明模型输出缺乏稳定性。
这项测试是单一研究者的独立审计，RTL 设计从未公开，因此无法被第三方复现。它测量的是功能级缺陷检出，不涉及时序、功耗或物理验证等其他维度。但数据指向一个具体且可操作的结论：AI 模型自报的覆盖率目标达成不能作为设计签核的充分依据。Kumar 本人的总结是，AI 能自己发现多少缺陷固然可观，但更重要的是它漏掉了什么——那正是工程师仍然关键的地方。