LoRA:低秩适配技术如何高效微调大语言模型
在自然语言处理领域,将大规模预训练模型适配到特定任务通常依赖全量微调。
在自然语言处理领域,将大规模预训练模型适配到特定任务通常依赖全量微调。然而,随着模型参数规模达到千亿级别(如GPT-3),为每个下游任务存储和部署独立的微调副本变得极其昂贵且难以维护。微软研究院提出的LoRA(Low-Rank Adaptation)旨在解决这一效率瓶颈。
LoRA的核心假设是,模型在适应新任务时权重的变化具有“内在低秩”特性。该方法冻结预训练模型的原始权重,并在Transformer架构的每一层中注入可训练的低秩分解矩阵。通过仅优化这些极小的增量矩阵,而非更新所有参数,LoRA大幅减少了可训练参数量。实验显示,相比使用Adam优化的GPT-3 175B全量微调,LoRA可将可训练参数减少一万倍,GPU内存需求降低三倍,同时在RoBERTa、DeBERTa、GPT-2和GPT-3上的模型质量与全量微调持平或更优。
与其他参数高效方法相比,LoRA避免了适配器(Adapter)引入的推理延迟问题。适配器通过增加网络深度来插入模块,这在在线推理场景下会导致显著的计算开销。而LoRA采用简单的线性设计,允许在部署时将可训练矩阵与冻结权重合并,从而在不增加推理延迟的情况下实现高效适配。此外,LoRA正交于许多现有方法,可与前缀微调等技术结合使用。
对于希望在大语言模型上进行定制化开发但受限于计算资源的工程师和研究者,LoRA提供了一种平衡效率与性能的实用方案。建议从论文第4节关于低秩参数化更新矩阵的描述入手,理解其数学原理,随后参考附录中的代码实现以进行实践。该工作由Edward Hu等人于2021年发表,标题为《LoRA: Low-Rank Adaptation of Large Language Models》。