腾讯首席AI科学家姚顺雨警告AI生物武器风险，主张通过训练数据过滤应对开源模型安全漏洞
腾讯首席AI科学家姚顺雨警告AI即将具备开发生物武器的能力，指出完全开放或封闭的模型均无法独立解决此问题。他主张混合策略，并透露腾讯即将发布的Hy4模型将通过在训练阶段过滤危险知识来抵御“消融”攻击，而非仅依赖后期对齐机制。
据《南华早报》报道，腾讯首席AI科学家、前OpenAI研究员Vinces Yao Shunyu（姚顺雨）近日发出警告，称人工智能很快将具备开发生物武器的能力。在关于开源与闭源模型的辩论中，姚顺雨主张采取中间路线，认为单纯的开源或闭源都无法独自解决这一安全问题。他指出，由于中美模型之间的差距不大，整个行业需要谨慎行事。
姚顺雨以Hugging Face遭受黑客攻击的事件为例，说明了开源模型在防御方面的优势：当Anthropic的Claude等闭源美国模型因安全过滤器拒绝分析攻击命令时，该平台不得不使用中国开源模型GLM-5.2来解析日志。然而，Hugging Face的报告也显示了这种方法的局限性：GLM-5.2仅用于取证分析，实际攻击是通过修补漏洞和重建服务器停止的，且该事件并不构成反对托管模型设置安全过滤器的论据。
与此同时，开源模型的安全过滤器极其脆弱。一种名为“Abliteration”的技术允许任何拥有模型权重的人通过手术式地移除训练好的拒绝行为。目前已有数千个经过修改的变体存在于Hugging Face上，甚至出现了出售未经过滤版本的商业服务。相比之下，闭源模型往往过滤过度。自Claude Fable 5以来，Claude的过滤器会将涉及网络和生物学的可疑查询路由到较弱的Opus 4.8模型，导致即使是分析MRI扫描也被标记为生物恐怖主义，Anthropic承认这些过滤器过于激进。
针对这一困境，姚顺雨提出更稳健的方法是在训练过程中就将危险知识排除在模型之外。腾讯计划在未来几天发布其新模型Hy4作为开源权重模型，并附带安全报告。该公司表示，Hy4的生物能力低于高风险阈值，并通过过滤训练数据移除了黑客能力。研究人员称，这种方法也能抵御Abliteration攻击。这一策略反映了中国在AI安全标准制定上的最新动向，即试图在保持模型开放性的同时，从架构底层解决安全对齐难题。