Manifund团队成员Caroline Ellison：词袋模型预测力逼近LLM，但她仍倾向用LLM评审

一个词袋模型几乎追平了大语言模型对资助提案的预测力，但Manifund团队成员Caroline Ellison仍然认为应该用LLM来做评审。这个判断背后的理由，比AUC数字本身更值得理解。

Ellison团队用Claude Opus 5.5阅读了2026年7月以来提交到Manifund的全部530个提案——选择这个起始时间是为了避开模型训练数据中可能已包含的旧提案。他们对每个提案要求模型输出三项内容：一段简短评审、一个1到5分的质量评分，以及一个预测该提案能否达到最低资助目标的概率。

在已关闭且文本未泄露资助结果的提案子集上，Opus的概率预测模型经过五折交叉验证达到了0.90的AUC。作为对照，一个词袋逻辑回归模型在相同数据集上达到了0.88。两者差距只有0.02，远小于通常用来论证复杂模型必要性的性能鸿沟。

这个结果让Ellison承认它确实让人质疑Opus判断的复杂程度，但她仍给出了三条坚持使用LLM的理由。第一，即使预测力接近，词袋模型给出的判断在质量上明显更差——那些词袋评分高于Opus最多的已资助提案，在她看来并非提案本身有多强；项目未必不好，但往往是提案人与资助方在线下已经沟通过、仅凭提案文本本身不值得资助的案例。第二，词袋模型极易被操纵，例如提案人只需在开头写上'我没有LessWrong账号、从未被MATS录取、不做可解释性研究'就能获得高分。第三，LLM能给出人类可以评估的理由，而且随着模型迭代这些理由的质量还会提升。

不过Ellison也坦承，预测资助结果和判断提案质量是两回事。前者更容易验证，但后者才是资助决策真正关心的。词袋模型在AUC上的接近，并不意味着它在质量评分维度上同样可靠——只是质量评分本身缺乏客观验证标准。

对正在构建AI评估系统的读者来说，这个案例的实际启示是：当简单基线在预测指标上逼近复杂模型时，不能仅凭AUC或准确率决定是否需要LLM。判断的可解释性、对操纵的抵抗能力、以及输出是否包含人类可以审查的理由，都是独立于预测精度的评估维度。Ellison团队下一步计划让人类独立阅读提案并打分，与AI评分对比，这正是在尝试把'判断质量更差'这个目前仍属主观印象的论点变成可测量的证据。