斯坦福LLM论断寿命研究

【背景】大语言模型（LLM）的能力迭代速度远超学术研究周期，导致许多广为引用的结论迅速过时。斯坦福大学研究员 Owen Queen 和 James Zou 发布了一项名为《LLM发现的保质期》（The shelf life of LLM findings）的研究，重新测试了50个被广泛引用的LLM行为论断。

研究发现，截至2026年9月30日，**44%的论断在最新模型中已“过期”（效应基本消失），另有34%显著减弱，仅16%**仍然成立，6%甚至变得更强。在有明确估计过期时间的22个论断中，从发表到失效的平均寿命仅为15.7个月（中位数14.7个月）。

为何重要： 研究揭示了一个关键分歧：关于模型“做不到什么”的能力限制类论断（如数错字母、长上下文中间信息丢失、编造参考文献）失效最快，因为开发者有明确的优化目标；而关于模型“偏好”或“倾向”的论断（如谄媚用户、作为评估者偏爱自己的答案、政治立场偏差）则更持久，甚至部分有所增强。例如，虽然GPT-6.1 Sol和Claude Sonnet 5.5几乎不再编造参考文献，但Qwen3.7-Flash在同一测试中的编造率仍高达69%，显示同代模型间差异巨大。

接下来关注：

1. 复现性验证：研究者建议论文应记录具体模型版本和日期，并公开提示词与分析代码，以便在新模型上重测。
2. 特定模型的残留缺陷：尽管整体趋势向好，需警惕如Qwen3.7-Flash等模型在引用真实性上的高失败率。
3. 偏好类问题的长期存在：谄媚和自我偏好等行为并未随能力提升而消失，反而在某些方面加强，这可能影响AI作为评估工具或对话伙伴的可信度。