博客作者casens：大模型已能读懂未训练小说，反驳Marcus的2029预测

博客作者casens在2026年10月13日发表文章，声称当前的大语言模型已经能够清晰阅读书籍，并以此反驳人工智能批评家Gary Marcus此前的预测。Marcus曾在2022年提出一项赌约，断言到2029年AI将无法可靠地阅读小说并回答关于情节、人物、冲突和动机的问题。casens认为这一预测已被现实证伪。

为了验证这一论点，casens选择了一本由John Green撰写、于2026年9月22日出版的小说《Hollywood, Ending》作为测试材料。由于该书出版时间晚于大多数模型的训练截止日期，它构成了一个真正的“未见文本”测试环境。casens将小说转换为纯Markdown格式，去除了所有元数据，并在一个屏蔽了除API连接外所有互联网流量的沙盒环境中运行Claude Opus 4.6。

测试结果显示，Claude Opus 4.6在回答关于这本小说的短答案问题时表现优异，没有产生幻觉，且包含了所有预期答案。在长答案问题中，模型的表现被casens评价为至少相当于高中或大学文学课的“A”级（95分以上）。尽管存在个别细节上的偏差或对主题解读的不同意见，但模型成功识别了主要角色、动机、冲突和整体情节，没有出现重大遗漏。

casens还引用了其他基准测试来支持他的观点，指出QuALITY、Winogrande和DROP等测试阅读理解和常识推理的基准早已被GPT-4和Claude Opus 3等高分数饱和。他认为Marcus所列举的失败案例，如理解代词指代或推断隐含信息，实际上是2019年及更早时期AI的局限，而非当前前沿模型的特征。

然而，casens也承认其测试方法的局限性。首先，他是自己测试结果的评判者，这可能引入主观偏见；其次，他对“可靠”的定义基于学术评分标准（95%），而Marcus可能要求更高的准确率阈值。此外，虽然Opus 4.6在已知文本的情况下表现良好，但在完全不知道书名和作者的盲测中，它只能猜测出大致背景，无法提供具体情节细节，这表明模型依赖于对文本内容的直接处理而非记忆。