阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · Clean优化器1 分钟阅读·2026-10-07DisconfirmAI 编辑部

新优化器让13B模型单卡可训

Clean优化器通过Nyström近似将二阶方法内存降至线性,比AdamW快26%,支持单卡预训练13B模型。

重要性实质性证据E2 未复现写法快讯

原文发布时间 2026-10-06 12:00

Clean优化器将二阶方法的内存复杂度从平方级降至线性级,并允许在单张80GB GPU上预训练13B参数模型。

传统二阶优化器(如SOAP)虽能加速收敛,但内存成本过高难以扩展。Clean利用随机Nyström方法近似预条件矩阵,保留了曲率信息的同时大幅压缩了状态占用。

作者自测显示,Clean达到AdamW最终性能的速度快26%;其低精度变体Q-Clean相比Muon优化器减少超过50%的内存消耗。该结果目前为预印本,尚未经过独立复现验证。

来源

  • 原始出处arxiv.org↗
专题

Clean优化器

Clean优化器通过引入随机Nyström近似,解决了大语言模型训练中二阶方法内存开销过高的瓶颈。该算法将SOAP类全曲率优化器的内存复杂度从二次方降至线性,使得在单张80GB GPU上预训练13B参数模型成为可能。

2 节点1 篇更新于 2026-10-07 21:12

事情怎么走到这一步

  1. 2026-10-03论文《Clean: Second-order LLM Training at Linear Memory Cost via Nyström Sketching》提交至arXiv,提出Clean和Q-Clean优化器。
  2. 2026-10-07媒体报道指出Clean优化器支持单卡预训练13B模型,且比AdamW快26%。

还没定论的部分

登录 / 注册
阅读研究雷达投资体系
  • Clean优化器在更大规模模型(如70B+)上的扩展性表现如何?
  • Q-Clean的低精度压缩是否会在特定任务微调中导致显著的性能损失?
  • 该方法与现有的其他高效优化器(如Adafactor或LAMB)在实际生产环境中的对比数据尚缺。
  • 读完整专题 →
    带入研究 →