神经架构搜索：用强化学习自动设计神经网络结构

在深度学习早期，网络架构的设计高度依赖专家经验，如从AlexNet到ResNet的演进。Barret Zoph和Quoc V. Le在2016年提出的《Neural Architecture Search with Reinforcement Learning》论文，开创性地使用循环神经网络（RNN）作为控制器来生成其他神经网络的架构描述，并通过强化学习优化这一过程。

该方法的核心在于将架构设计视为一个序列生成问题。控制器RNN逐步预测子网络的超参数（如层数、滤波器大小等），形成一个变长的字符串描述。一旦子网络构建并训练完成，其在验证集上的准确率被用作奖励信号。由于准确率指标不可微分，作者采用REINFORCE策略梯度算法更新控制器的参数，使得控制器随着时间推移学会生成更高准确率的架构。为了降低梯度估计的高方差，引入了指数移动平均作为基线函数。

实验结果显示，该方法在CIFAR-10数据集上从零开始设计的架构达到了3.65%的测试错误率，优于当时许多人工设计的架构。在Penn Treebank语言建模任务中，它发现了一种新的递归单元，其困惑度为62.4，超越了广泛使用的LSTM单元。这表明自动化搜索可以产生具有竞争力的模型结构。

然而，该方法的计算成本极高。每个控制器的梯度更新都需要训练一个完整的子网络直至收敛，这通常需要数小时。尽管使用了分布式训练和异步参数更新来加速，但整体搜索过程依然缓慢且资源密集。此外，搜索空间的设计仍然需要人为定义，例如限制最大层数或指定可能的操作类型，这意味着“完全”的自动化仍受限于预设的规则框架。

对于今天的读者而言，理解NAS的历史背景有助于把握当前AI工程化的趋势。假设我们面临一个新领域的数据集，传统做法是花费数周尝试不同的CNN变体。而基于此论文的思想，我们可以配置一个搜索空间，让算法在后台运行数天以寻找最优架构。虽然现代NAS方法已大幅降低了计算需求，但Zoph和Le的工作确立了“用机器学习优化机器学习”的基本范式，即元学习在架构层面的应用。

推荐Barret Zoph和Quoc V. Le于2016年发表的《Neural Architecture Search with Reinforcement Learning》给希望深入理解自动化机器学习起源的研究者和工程师。这篇论文不仅展示了如何用强化学习解决离散组合优化问题，更奠定了后续高效NAS算法的基础。建议从引言和方法论部分开始阅读，重点关注控制器与子网络的交互机制及REINFORCE算法的应用细节。