Anthropic Claude 微调工程师 Jackson Kernion:模型被训练成写给 AI 看而非写给人看
Anthropic Claude 微调工程师 Jackson Kernion 解释写作退步原因:训练数据让模型学会写给 AI 看,强化学习奖励偏向 AI 理解而非人类可读性。他称 Opus 5.5 有所改善但问题仍未解决。
重要性实质性证据E3 可检验写法标准
AI 模型在数学、编程和推理能力上持续进步,但写作质量却停滞甚至退步——Anthropic 的 Claude 同样如此。负责 Claude 微调的 Anthropic 工程师 Jackson Kernion 在 9 月 23 日给出了一个具体解释:后续模型的优化重点转向了数学和代码能力,同时训练数据中包含了大量面向其他 AI 模型撰写的技术解释。模型因此逐渐形成了所谓「Claude 腔」(Claudeish)——一种被调整得适应 LLM 心理的写法,最终学会了写给 AI 模型看,而不是写给人看。
Kernion 认为问题的根源在于强化学习的奖励机制。训练中存在两类奖励信号:一类着重提升 AI 模型对输出的理解效果,另一类着重让人类更容易读懂。数学和代码方面的训练越多,模型就越倾向于优化前者,因此需要主动抵消这种倾向,对简洁、容易让人读懂的解释给予更多奖励。
他做了一个类比:LLM 拥有远超人类的工作记忆,也能捕捉更细微的信息。在训练中,模型会逐渐形成一种非常适合 AI 模型理解的写法——信息密度极高、结构对机器友好——但在人类读者眼中,这种表达就成了过度密集的信息堆砌。Kernion 将这种现象比作只与其他自闭症人士交流的人逐渐形成一套群体内部沟通顺畅、外人却难以理解的表达方式。
Kernion 称 Anthropic 在 Opus 5.5 上找到了更好的平衡,「自 Opus 4.6 以来,我还没有对一款模型的写作表现这么满意过」。但他同时承认这并不代表 Opus 5.5 已经超越 Opus 4.6,「这是一个很难解决的问题,我们会继续改进」。
这一解释的实际价值在于它指向了训练流程中一个可操作的张力:当优化目标偏向机器可理解性时,人类可读性需要被显式地纳入奖励设计。对于使用 AI 输出的人类读者而言,理解这一机制有助于判断模型写作风格的变化是能力退步还是优化方向偏移,也有助于评估不同模型版本在「对谁说话」这一问题上的取舍。