资讯1 分钟阅读·
统计力学解释双下降:增参等效增强权重正则化,尚待独立验证
Congzhou M Sha单作者提出:训练轨迹是损失能量景观中有限时间扩散的粒子,增参等效增强权重正则化,未经同行评审。
重要性局部证据E2 未复现
按Congzhou M Sha的统计力学解释,双下降可被看作:训练轨迹是在训练损失能量景观中有限时间扩散的粒子,由此产生有效权重衰减;按能量均分,固定训练损失下增加参数会降低温度、趋向平稳路径,而平稳路径的L2范数只能随参数增加而降低,作者称等效于增强权重正则化。
此前该现象缺少这一统一的理论解释,此为单作者自报的主张。
该主张未经同行评审与独立验证;预印本9月16日提交arXiv、17日更新v2(arXiv:2609.19076)。