阅读研究雷达投资体系
登录 / 注册
← 返回阅读
长期信息1 分钟阅读DisconfirmAI 编辑部

mixup:超越经验风险最小化的数据增强方法

大型深度神经网络虽然功能强大,但往往表现出记忆训练数据和对抗样本敏感等不良行为。

核验于 2026-11-21 00:02

大型深度神经网络虽然功能强大,但往往表现出记忆训练数据和对抗样本敏感等不良行为。传统上,这些网络通过最小化训练数据上的平均误差来训练,即经验风险最小化(ERM)原则。然而,当模型参数数量与训练样本数量相当时,ERM容易导致模型“记住”而非“泛化”数据,且在分布外样本上预测不稳定。

为了解决这一问题,论文提出了mixup方法。这是一种简单且与数据无关的数据增强技术。其核心思想是构造虚拟训练样本,通过对两个随机选取的训练样本及其标签进行凸组合来实现。具体而言,对于输入向量 $x_i$ 和 $x_j$,以及对应的独热编码标签 $y_i$ 和 $y_j$,生成新的样本 $\tilde{x} = \lambda x_i + (1-\lambda) x_j$ 和 $\tilde{y} = \lambda y_i + (1-\lambda) y_j$,其中 $\lambda$ 是从 Beta 分布中采样的混合系数。这种方法隐含了特征向量的线性插值应导致目标值线性插值的先验知识。

实验表明,在ImageNet-2012、CIFAR-10等数据集上,mixup显著提高了最先进神经网络的泛化能力。此外,它还减少了模型对错误标签的记忆,增加了对抗样本的鲁棒性,并稳定了生成对抗网络(GANs)的训练。Mixup的实现仅需几行代码,计算开销极小,是一种高效且通用的正则化手段。这篇发表于2017年的《mixup: Beyond Empirical Risk Minimization》适合希望理解如何通过简单的数据增强策略提升深度学习模型泛化能力和鲁棒性的研究人员及工程师阅读。建议从论文的引言和方法部分开始,重点关注其如何以极低的计算成本替代复杂的领域特定数据增强。

来源

  • arxiv.org《mixup: Beyond Empirical Risk Minimization》(2017)↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系