Google Research 的睡眠框架：用周期性离线巩固让 LLM 持续学习而不灾难性遗忘

部署后的大语言模型面临一个根本矛盾：直接更新参数会摧毁旧能力（灾难性遗忘），而仅依赖上下文窗口则一旦会话结束就丢失所有新信息。Google Research 的 Ali Behrouz 和 Vahab Mirrokni 在 2026 年 10 月 27 日发布的博客中提出了一种绕开这一两难的路径——让模型像人脑一样拥有'睡眠'周期。

睡眠框架将模型运行分为两个交替阶段。'清醒'阶段正常接收和处理输入，将临时信息存入快速短期记忆组件；'睡眠'阶段暂停新输入，将内部计算转向记忆巩固和自我提升。作者强调，虽然借用了神经科学词汇，框架完全在固定模型架构和人工定义的训练规则内运行，并非模拟生物睡眠。

睡眠阶段包含两个子过程。第一个是记忆巩固：模型利用混合专家（MoE）和 Hope 架构动态扩展参数容量，将新解锁的低秩专家写入稳定的低频记忆块，从而在不扰动旧参数的前提下容纳新知识。同时，通过广义知识蒸馏（GKD）配合基于强化学习的模仿学习，将高频层中脆弱的短期记忆'播种'到新扩展的长期参数中。巩固完成后，高频临时参数被重置，为下一轮清醒阶段腾出容量。

第二个子过程是'做梦'——自主自我提升循环。MoE 路由器随机激活非标准专家，迫使模型混合不同知识领域以发现潜在模式；模型据此生成合成训练样本（'梦境'），再用基于梯度的数据筛选保留最有提升潜力的样本，最后对这些高评分梦境样本执行监督微调并评估下游任务表现。

作者报告了一组自测结果：在满语和卡拉芒语等未见语言的持续翻译中，睡眠框架在多阶段评估中维持接近零的性能下降，而 ICL、Cartridges 和 SFT 均出现严重灾难性遗忘；在 BABILong 基准上，该方法声称实现了 1000 万 token 的近完美上下文扩展，超过 GPT-4 和 Titans；在 SQuAD 事实知识整合上达到 48.9%（单任务）和 46.2%（继续预训练），超过基线模型、SFT 和 SEAL；在 AIME 24/25 和 HMMT 25 数学推理上分别取得 79.2%、69.0% 和 46.1% 的准确率，超过 SFT、GRPO 和 OPSD。

这些数字全部来自作者自测，博客未披露硬件配置、各基线的绝对分数或统计置信区间，论文全文（arXiv:2606.03979）也未经独立复现。因此这些结果应视为归因于 Google Research 团队的初步证据，而非已验证的行业基准。框架的实际部署成本——每次睡眠周期的计算开销、参数扩展的存储增长、以及'做梦'阶段合成样本质量的可控性——在博客中均未量化。

尽管如此，睡眠框架将'训练与推理的严格分离'替换为一个有结构的周期：清醒时积累、睡眠时巩固和练习。这一范式如果能在独立复现中保持其声称的遗忘抑制和长上下文扩展能力，将为部署后模型的知识更新提供一条不同于单纯重训或单纯依赖上下文的中间路径。