生成对抗网络：通过极小极大博弈学习数据分布

2014年，Goodfellow等人提出了生成对抗网络（GAN）框架。其核心思想是通过一个对抗过程来估计生成模型，同时训练两个模型：捕获数据分布的生成器G和估计样本来自真实数据概率的判别器D。

这一框架对应于一个极小极大二人博弈。在任意函数空间中，存在唯一解，其中G恢复训练数据分布，而D处处等于1/2。当G和D由多层感知机定义时，整个系统可以通过反向传播进行训练，无需马尔可夫链或展开的近似推理网络。

论文将生成器比作试图制造假币而不被发现的造假者团队，判别器则像试图检测假币的警察。这种竞争驱动双方改进方法，直到伪造品与真品无法区分。这与传统的最大似然估计不同，后者常因难以处理不可计算的概率计算而受限。

与变分自编码器（VAE）相比，GAN要求对可见单元进行微分，因此不能建模离散数据；而VAE需要对隐藏单元进行微分，因此不能有离散的潜在变量。此外，GAN的竞争是唯一的训练标准，足以独立训练网络，不同于仅作为正则化器的可预测性最小化方法。

在实践中，早期训练时若G较差，D会以高置信度拒绝样本，导致log(1-D(G(z)))饱和。因此，论文建议训练G最大化log D(G(z))而非最小化log(1-D(G(z)))，以在早期提供更强的梯度。这解决了优化过程中的数值稳定性问题。

《Generative Adversarial Nets》由Ian J. Goodfellow等人在2014年发表。适合希望深入理解深度学习生成模型原理的研究者和工程师阅读。建议从摘要和第3节“Adversarial nets”开始，重点关注公式(1)及其理论分析部分。