阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯1 分钟阅读·2026-09-18

统计力学解释双下降:增参等效增强权重正则化,尚待独立验证

Congzhou M Sha单作者提出:训练轨迹是损失能量景观中有限时间扩散的粒子,增参等效增强权重正则化,未经同行评审。

重要性局部证据E2 未复现

核验于 2026-09-18 13:02

按Congzhou M Sha的统计力学解释,双下降可被看作:训练轨迹是在训练损失能量景观中有限时间扩散的粒子,由此产生有效权重衰减;按能量均分,固定训练损失下增加参数会降低温度、趋向平稳路径,而平稳路径的L2范数只能随参数增加而降低,作者称等效于增强权重正则化。

此前该现象缺少这一统一的理论解释,此为单作者自报的主张。

该主张未经同行评审与独立验证;预印本9月16日提交arXiv、17日更新v2(arXiv:2609.19076)。

来源:arXiv:2609.19076 摘要页 ↗

来源

  • 原始资料arxiv.org↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系