LessWrong作者Will Duncan：说服性AI风险被低估，认知防火墙应在伤害被广泛感知前部署

Will Duncan提出了一个具体判断：说服性AI作为风险类别被系统性低估，而应对它的技术窗口已经打开。他的核心论证不是'说服性AI即将毁灭人类'，而是一个更窄但更紧迫的命题——由于心理伤害具有迟滞性，等到伤害被广泛感知时再部署防御已经太晚，而廉价大语言模型刚刚使个体用户侧的内容分类在成本上变得可行。

他首先界定了当前威胁的实际水平：AI在实验室中已能超越专业说服者（引用Hackenburg等人2026年的研究），但在现实世界中几乎没有证据显示大规模说服性AI正在运作（引用Linch 2026年的分析）。Duncan认为这符合能力曲线的当前阶段——AI只在特定任务上'适度且情境性地超越人类'。但即使如此，他指出了一个关键的检测问题：如果广泛的AI说服正在发生，我们目前没有手段发现它。

为什么不能等？Duncan给出的理由是心理伤害的迟滞性。他引用抑郁症复发统计（Burcusa & Iacono 2007：从一次重度抑郁发作中恢复的人中，50%在一生中至少再经历一次）以及确认偏误、群体内偏误和创伤后应激障碍的自强化特征，论证心理控制一旦建立便具有动量，修复所需的时间和能量可能高到令人望而却步。这不是一个'未来可能很糟'的推测，而是一个'当前已经在发生且正在积累'的判断——他引用社交媒体对注意力、政治极化和青少年心理健康的已有影响（Allcott 2020、Braghieri 2022），以及keltan 2025年描述的推荐系统极端化情景。

技术可行性方面，Duncan的论点是：过去为每个用户编写社交媒体界面在工程劳动上过于昂贵，因此防御只能由平台内部实现，而平台缺乏动力。廉价LLM翻转了这个不对称——现在每个用户可以负担得起一个持续分类自己信息流内容的工具。他给出的成本数据是每1000条社交媒体帖子约0.05美元，重度使用每月几美元。

作为存在证明，他开发了名为Tolerance的开源原型，用快速廉价模型对信息流进行分类过滤，并能在生成完成前隐藏流式输出以打断强迫性使用循环。他明确承认：'它在我当前的信息饮食改变任务上非常有效，但我没有足够的数据来说明它是否能泛化。'这个自我限制是论证的一部分——他的主张是这类系统'在接下来几年内将是必要的'，而非声称已经解决了问题。

Duncan将网络安全作为类比框架：防御者和攻击者相互理解对方来设计对策，形成螺旋。但他同时指出这个类比在哪里断裂——人类心理不是可以简单'打补丁'的系统，威胁的速度和特异性将在超人时间尺度上运作，因此需要以超人速度解读认知危害的对策。这意味着认知防火墙本身也会成为攻击面，需要模型多样性、隐私保护和边缘化信息存储。

文章中最具个人色彩的段落来自他的第一手经验：他为自己创建一个与自身人口统计特征显著不同的假账号，并匹配IP位置，发现'这是我有生以来最令人大开眼界的经历之一'——看到自己的世界观与推荐流中编织的叙事如此一致且连贯地正交，提供了对意识形态变化的直觉感受。这段经历支撑了他关于信息茧房（引用Piao等人2023年Nature Machine Intelligence的研究）不是抽象问题而是可感知的现实这一论点。

在文章末尾的脚注中，Duncan主动削弱了自己论证的一个隐含前提：他说当他在文中使用'AI'时，经常将其与人类严格区分，但他'不认为这是一个完全连贯的观点'，物理世界与数字世界之间的界限正在模糊。他将危险归因于'缺乏关于AI如何开发和部署的主动选择'，而非AI本身。

最强反方：Duncan自己提供了最有力的反驳素材。说服性AI在现实世界的证据目前为零或接近零；他的原型仅对个人有效且未经验证泛化；'谁来决定什么是有害的以及如何决定'被他标记为'微妙'但留为开放问题；移动操作系统目前在架构上禁止用户获得这种细粒度控制（他列举了降级的网页应用体验、受限的无障碍服务和原生应用封装），这意味着即使工具存在，部署环境本身是敌对的。这些限制不推翻他的论证——他主张的是'现在应该开始研究和工程化'而非'现在就能部署到每个人'——但它们决定了这个主张的实际力度。