斯坦福研究：44%的LLM常见论断已失效，平均寿命仅15.7个月
斯坦福学者测试发现，近半数关于大语言模型的广泛引用论断已在当前模型中失效，能力限制类结论过期最快。
据科技媒体 The Decoder 报道，斯坦福大学研究人员 Owen Queen 和 James Zou 对 50 个被广泛引用的大型语言模型（LLM）论断进行了测试，将其与 20 个当前主流模型进行对比。结果显示，44% 的论断已经“失效”，另有 34% 显著减弱，只有 16% 仍然成立。在估算了失效日期的 22 项发现中，其平均寿命仅为 15.7 个月。
研究发现，关于模型“不能做什么”的能力限制类论断过期速度最快。例如，此前被广泛讨论的数草莓字母、处理陌生数字系统算术、长上下文中间信息丢失等弱点，在当前模型中大多已消失。相比之下，涉及模型偏好和行为倾向的论断更具持久性，如谄媚行为、政治偏见以及作为评估者时的自我偏好等，这些特征在多个模型中依然显著。
该研究强调，随着AI开发速度的加快，针对LLM的经验性发现应被视为特定时间点下特定模型的观察结果，而非普遍真理。这一结论提醒读者和研究者，过去关于AI能力的许多经典结论可能已不再适用于当前的技术现实。