AI代码审查公司CodeRabbit实测GPT-6.2 Astra:多捕获7个已知问题但精确率降至12%
CodeRabbit在自身代码审查管线中对比了GPT-6.2 Astra与上一代集成。Astra 6.2在83个已知问题中多捕获7个,但报告评论从331条增至847条,精确率从21.74%降至12.22%。作者建议保持当前默认配置,先人工阅读增量评论再决定是否切换。
在代码审查中,捕获更多问题并不自动意味着更好的审查体验。AI代码审查公司CodeRabbit在自身管线中测试GPT-6.2 Astra后发现,新模型确实多找到了几个已知问题,但代价是评论量大幅增加、精确率显著下降——这恰恰是审查工具最不希望看到的组合。
CodeRabbit在83个已知问题的基准集上对比了Astra 6.2与上一代Astra集成。Astra 6.2捕获了58个问题(69.9%),比上一代的51个(61.5%)多出7个。但报告评论从331条增至847条,精确率从21.74%降至12.22%——每发布约8条可操作评论,只有1条能对应到基准中的已知问题。作者强调,这些结果不能确立纯粹的模型改进,因为基线配置中使用了Sol 6.1及其他模型,各配置只运行了一次。
评论量膨胀带来的问题不只是数字上的。在589条常规可操作评论中,只有72条匹配了已知问题;其余517条可能包含基准未标注的真实问题,但作者明确表示理解它们的价值需要逐条阅读。CodeRabbit指出,每一条评论都在要求作者分辨有用发现和噪音。当PR被低价值反馈填满时,作者可能最终停止阅读或处理评论,有用的发现也会被忽略。
Sol 6.2呈现出类似但幅度较小的模式。在81个已知问题的测试中,Sol 6.2高推理配置比6.1多捕获2个问题(74.1%对71.6%),但评论量从187条增至290条,精确率从35.3%降至25.9%,记录成本高出约48%。同样,这些运行不能隔离推理级别的效果,因为管道中不同部分替换了不同模型。
在代码生成方面,作者们没有运行匹配的基准测试,只分享了实际编码体验。Astra从简短提示中经常能产出有用的第一版界面,在长任务中也能在偏离后回到原始目标。Sol 6.2则需要更多方向指引,初始UI设计没有比6.1有改善,还反复给出错误的配置文件,团队不得不逐一验证项目能否实际启动。
CodeRabbit的结论是暂不切换。Astra的额外捕获伴随着大量评论增加,集成还需要与固定路由配置的对比;Sol的小幅增益则伴随着更多评论和更高成本。作者建议,在切换之前先阅读增量发现,并重新测试每个配置停止捕获的问题。OpenAI宣称新模型能以更少输出token完成高要求任务,但实际审查成本还取决于委托调用和重试次数,更低的token单价本身不能确立更低的审查成本。