読書リサーチレーダー投資フレームワーク
ログイン / 新規登録
← 読解に戻る
トピックDisconfirmAI 編集部更新日 2026-10-07 21:12

Clean优化器

2 ステップ1 件2 ソース

Clean优化器通过引入随机Nyström近似,解决了大语言模型训练中二阶方法内存开销过高的瓶颈。该算法将SOAP类全曲率优化器的内存复杂度从二次方降至线性,使得在单张80GB GPU上预训练13B参数模型成为可能。

【背景】传统一阶优化器(如Adam)虽省内存但丢弃了跨参数曲率信息,而全曲率方法(如SOAP)收敛快但内存成本高昂。Clean利用Nyström方法近似Shampoo预处理矩阵,并重新整合子空间外的组件以保留曲率信息。

实验数据显示,Clean的优化器状态占用比标准AdamW更小,但在达到相同最终性能时,墙钟时间快了26%。其低精度变体Q-Clean在预训练LLaMA-1.3B架构时,相比Muon优化器减少了超过50%的内存消耗,同时保持具有竞争力的预测性能。这一进展意味着开发者可以在更有限的硬件资源下,获得接近全二阶方法的训练效率。

経緯

  1. 2026-10-03

    论文《Clean: Second-order LLM Training at Linear Memory Cost via Nyström Sketching》提交至arXiv,提出Clean和Q-Clean优化器。

    arxiv.org ↗
  2. 2026-10-07

    媒体报道指出Clean优化器支持单卡预训练13B模型,且比AdamW快26%。

    arxiv.org ↗

未解決の問題

  • Clean优化器在更大规模模型(如70B+)上的扩展性表现如何?
  • Q-Clean的低精度压缩是否会在特定任务微调中导致显著的性能损失?
  • 该方法与现有的其他高效优化器(如Adafactor或LAMB)在实际生产环境中的对比数据尚缺。

ソース

  • arxiv.org原始论文↗
  • arxiv.orgHTML全文↗

このトピックでのカバー範囲

ログイン / 新規登録
読書リサーチレーダー投資フレームワーク
  • New Optimizer Enables Single-GPU Training of 13B Models2026-10-07ニュース

    The Clean optimizer reduces second-order method memory to linear cost, achieving 26% faster convergence than AdamW and enabling single-GPU pre-training of 13B models.