FLAN论文：指令微调如何让大模型具备零样本学习能力

2021年，Google Research团队发表了《Finetuned Language Models Are Zero-Shot Learners》（即FLAN论文），提出了一种通过“指令微调”显著提升语言模型零样本学习能力的简单方法。该研究的核心在于将自然语言处理任务转化为带有明确指令的格式，例如“这句话的情感是正面还是负面？”或“将‘你好’翻译成中文”，并让模型在超过60个此类数据集上进行微调。

传统的大规模预训练模型（如GPT-3）在少样本提示下表现优异，但在零样本场景下往往难以理解与预训练数据格式差异较大的任务。FLAN论文指出，通过监督微调教会模型遵循指令，使其能够泛化到未见过的任务类型。研究人员将NLP数据集按任务类型分组，在训练时排除某一组任务，仅在测试阶段评估模型对该组任务的零样本表现。实验结果显示，经过指令微调的137B参数FLAN模型，在25个未见过任务中的20个上超越了175B参数的GPT-3零样本性能，并在部分推理和阅读理解任务上大幅优于GPT-3的少样本表现。

这一发现揭示了三个关键因素对指令微调成功的重要性：微调数据集的数量、模型规模以及自然语言指令本身。对于当前的AI开发者而言，FLAN证明了无需大量标注数据即可通过结构化指令激发模型潜在能力的路径。建议读者从论文的摘要和引言部分入手，重点关注图1和图2所示的方法论对比，以理解指令微调如何结合预训练-微调范式与提示范式的优势。这篇发表于2021年的《Finetuned Language Models Are Zero-Shot Learners》为后续大模型的指令跟随能力奠定了重要基础。