Qodo提示词稳定性优化

以色列代码审查工具厂商 Qodo 在其博客中披露了如何优化其“推荐 Agent”的系统提示词，以解决AI代码审查结果不稳定、同一PR多次运行标签翻转的问题。团队并未微调模型权重，而是改写了开源框架 GEPA（Genetic-Pareto）的反思机制：对每个训练样本运行Agent两次，利用LLM分析两次完整轨迹的差异，定位证据收集与决策的不稳定环节，再将所有结构化分析汇总至一次高推理强度的LLM调用中寻找跨样本模式。

【背景】Qodo的推荐Agent负责根据团队历史PR反馈，预测新发现是否会被开发者采纳（标记为yes/no/maybe），而非仅判断技术正确性。此前，在200个PR的评估集中，20.7%的标签发生软翻转，4.3%发生硬翻转。

从仅43词的最简提示词出发，Qodo采用单次宽步优化（single wide training step）而非多轮小修，生成的候选提示词在离线验证中将硬翻转率从8.2%降至2.2%。在生产环境的50/50 A/B测试中（覆盖约21,000个PR，27,582次审查运行），漏标率（miss rate，即开发者已实施却被标记为no的比例）从7.83%降至4.46%，单次推荐成本减半（$0.24至$0.12），延迟降低25%（40秒至30秒），且精确度无显著差异。这一案例表明，对于非确定性Agent行为，通过对比多次执行轨迹进行提示词工程，可能比单纯增加提示词复杂度或微调模型更有效。