阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

微软研究院:重编程不到10个休眠神经元即可无训练后门化AI智能体

微软研究院首席研究员Dimitris Papailiopoulos团队发现一种名为Lazarus的后门技术,通过重编程大语言模型中极少数的休眠神经元,使其在特定触发条件出现时激活并注入恶意指令。该攻击无需训练,模型仍通过标准安全评估,直到触发时刻才执行攻击者代码。研究还表明,Claude Code在2026年3月已自主发现了其中的大部分内容。

2026-11-11 04:52

微软研究院首席研究员Dimitris Papailiopoulos在2026年11月10日发表的研究博客中,介绍了一种被称为Lazarus的AI模型后门技术。其核心发现是:对大语言模型中不到10个休眠神经元进行权重重编程,就足以让基于该模型构建的AI智能体在隐藏触发条件出现时执行恶意命令,且整个过程不需要任何训练。

这一技术之所以可行,依赖于预训练阶段对模型内部表征的组织方式。Papailiopoulos团队观察到,每个大语言模型中都有大量极少激活的休眠神经元,这些神经元可以被重新编程为触发检测器。由于预训练已经把内部表征组织得足够好,一个仅在约50个样本上拟合的线性分类器就能区分包含触发条件的输入和不包含的输入。换言之,休眠神经元天然具备充当条件判断节点的能力,只需调整其权重即可使其在特定输入模式下激活。

一旦触发神经元激活,它就能向模型的残差流中强制注入任意一个词元。通过串联多个这样的神经元,攻击者可以拼出完整的恶意载荷——例如一条下载并执行攻击者代码的终端命令。整个攻击的计算需求极低:只要一台机器有足够的内存来运行模型,它就有足够的资源在权重空间中对模型进行后门化。

触发条件可以非常日常。研究团队给出的示例是:当时间跨过午夜进入2027年时,一个正在执行普通任务的AI智能体突然发出下载并运行攻击者代码的命令,然后以用户授予它的权限执行该命令。在此之前,模型通过标准评估并表现正常。

这项研究有一个值得注意的起源。Papailiopoulos回忆,2026年3月他做了一个快速实验:让Claude Code(Opus 4.5)通过硬编码少量激活值而不进行训练的方式对模型实施后门。Claude Code做到了。这个实验随后演变为数月的系统研究,最终形成了Lazarus方法。博客中明确标注:Claude Code自主发现了其中的大部分内容。

从安全实践角度看,Lazarus揭示的核心问题是模型权重完整性。攻击者只需要对模型检查点文件的写访问权限,这意味着内部开发的模型与开源权重模型面临同等风险——被攻破的账户、构建流水线或存储系统就足够了。可靠的检测需要将权重与原始未修改版本进行逐字节比对,因此模型来源的可信验证变得至关重要。

微软在博客中介绍了其现有和规划中的防御措施。Microsoft Foundry通过来源控制将每个模型绑定到其原始发布者,并在微软自有容器中运行模型,同时扫描容器环境中的关键漏洞。对于更深层的威胁——即受信提供者自身被攻破的情况——微软正在开发基于前沿AI模型的权重扫描工具、用于检测异常模型修改的红队测试框架,以及带有可验证来源和防篡改审计跟踪的模型签名机制。

Papailiopoulos在文中强调,这并非反对开源权重模型的理由,而是一个关于软件供应链安全的普遍问题:模型权重应当像代码一样接受审计。他同时指出,没有扫描能够绝对证明一个模型是安全的,这应当成为纵深防御策略中的一层,而非全部。

来源

登录 / 注册
阅读研究雷达投资体系
microsoft.com
Microsoft Research
↗
带入研究 →