姚顺雨AI生物安全警告
2 节点1 篇3 来源
腾讯首席AI科学家姚顺雨(Vinces Yao Shunyu)近日发出警告,称人工智能即将具备开发生物武器的能力,且完全开放或封闭的模型均无法独立解决此安全隐患。【背景】姚顺雨指出,随着AI在生物学领域的能力逼近“可造成实质伤害”的阈值,攻防能力的界限比网络安全更为模糊。他主张采取混合策略,并透露腾讯即将发布的Hy4模型将通过在训练阶段过滤危险知识来抵御“消融”攻击,而非仅依赖后期对齐机制。这一表态正值中美AI巨头就开源模型安全性展开激烈辩论之际,Anthropic等公司坚持闭源以防范风险,而姚顺雨认为开源模型在协助防御方面具有不可替代的价值。
事情怎么走到这一步
腾讯首席AI科学家姚顺雨在香港科学峰会上警告,AI模型的生物能力即将达到可造成实际危害的阈值,呼吁开源模型开发者严肃对待安全问题。
siliconreport.com ↗媒体报道姚顺雨主张混合策略,指出腾讯Hy4模型通过训练数据过滤移除黑客攻击能力,其生物能力低于高风险阈值,计划发布权重及安全报告。
the-decoder.com ↗
还没定论的部分
- 腾讯Hy4模型发布的安全系统卡是否会被监管机构采纳为行业标准?
- 中国TC260正在制定的开源AI安全标准将如何界定‘高风险’生物能力的阈值?
- 美国Anthropic等公司是否会调整其对开源模型用于防御场景的立场?