大模型常见的LoRA算法原理、实现和运用详解

---

1. 前言

本文是常用算法的快速浏览入门（扫盲），结合论文+代码，从原理、实现以及实际应用上深入介绍。

LoRA（Low-Rank Adaptation）是一种用于在预训练模型基础上进行高效微调（Fine-Tuning）的算法，特别适用于大规模语言模型（LLMs）。LoRA 通过引入低秩矩阵的方式来适应和调整模型参数，从而在保持预训练模型原有能力的同时，显著减少微调的计算成本和存储需求。（以上如果看不明白，往后看完一定能懂！）

简言 LoRA：

（1）适用：预训练之后的微调阶段

（2）优势：减少计算成本和存储需求，同时不引入推理延迟（Inference Latency），方便在不同的微调任务灵活切换

论文原文：https://arxiv.org/abs/2106.09685

2. 算法介绍

2.1 微调

首先理解，为什么大模型需要微调。
（1）预训练的语言模型通常在大规模的通用语料库上进行训练，具备广泛的语言理解能力。微调的目的是让这些模型能够适应特定的任务，如情感分析、文本分类、机器翻译、问答系统等。
（2）某些应用可能涉及到专业领域的语言和术语，如医学、法律、金融等。通过在领域特定的数据集上进行微调，模型能够更好地理解和处理这些特定领域的语言和内容。

我们假设预训练得到的参数权重为 $W_0$，在微调阶段，更新权重：

$$W=W_0+\Delta W$$

其中 $\Delta W$ 是微调训练阶段更新的权重大小。

如果直接训练，当预训练模型的 $W_0$ 矩阵的参数量太大时，导致微调 $\Delta W$ 需要计算梯度并维护如此大量的优化器状态，对于动辄几百上千亿的参数量，会消耗大量存储空间。

2.2 核心思想

LoRA 将 $\Delta W$ 进行矩阵变换（忽略缩放$\alpha /r$等）：
$$\Delta W=BA$$

其中 $\Delta W\in {\mathbb{R}}^{d\times \mathbb{k}}$， $B\in {\mathbb{R}}^{d\times r}$， $A\in {\mathbb{R}}^{r\times \mathbb{k}}$。$r\ll min(d,k)$，$r$ 取值一般 1,2,4,8等。

如论文中的下图：

其中 $\Delta W$：

在微调训练中，仅需要计算右边的 $A$、$B$ 矩阵，而不需要变动左边的 $W$（预训练的权重）

这样的权重参数总量 $\Theta$：
$$\Theta =(d+k)\times r\ll d\times k$$

需要维护的权重参数量远远降低了，这个思路是不是有点类似 SVD（奇异值分解）。

论文中表明在 GPT-3 175B 模型上，LoRA 将训练期间的 VRAM 消耗从1.2TB 减少到 350GB。一般对于 Transformer 可以减少 2/3 的内存占用。

训练过程：

3. 几个关键问题

以下也是论文中提到的在更新权重时的几个重要问题，下面结合本人的理解进行阐述！

3.1 LoRA如何应用在Transformer上

Transformer 的详细介绍参考：

《NLP深入学习：大模型背后的Transformer模型究竟是什么？(一)》

《NLP深入学习：大模型背后的Transformer模型究竟是什么？(二)》

Transformer 有几个权重变换矩阵，$W_q$、$W_k$、$W_v$，实际应用 LoRA 是作用在哪些矩阵效果最佳呢？

在 WikiSQL 和 MultiNLI 数据集进行验证：

根据实验结果，得出以下结论：

（1）只作用于 $W_q$ 或 只作用于 $W_k$ 效果最差；

（2）同时作用于 $W_q$ 及 $W_v$ 效果最好；

（3）秩大、作用于单一矩阵，不如秩小、作用于多种矩阵。

3.2 LoRA的最佳秩r如何选择

以下是实验：

根据实验结果，得出以下结论：

（1）秩非常小都表现出很好的效果，表明更新矩阵 $\Delta W$ 可能具有非常小的“内在秩”；

（2）LoRA 作用于越多的矩阵，表现效果越好；

（3）对于简单模型一味增大秩不具备太大的意义，r=4 和 r=64 效果差距不大，但是 r=64 反而消耗了更大的资源；

经验法则：

在实践经验中，选择 $r$ 的典型范围在 1 到 64 之间（不绝对）。这个范围内的 $r$ 通常可以在性能和效率之间取得较好的平衡。

实验确定：

1. 初始尝试：可以从 $r=4$ 或 $r=8$ 开始。这些值通常可以提供良好的性能，同时保持低计算成本。

2. 性能评估：在验证集上评估模型性能，记录各个 $r$ 值对应的性能指标。

3. 优化调整：根据评估结果，逐步调整 $r$，如从 $r=4$ 增加到 $r=128$（或更大），观察性能提升情况。

3.3 $W$和$\Delta W$有什么关系

论文通过计算降维后的 $W$ 和 $\Delta W$ 的相似程度，得出以下结论：

（1）与随机矩阵相比，$\Delta W$ 与 $W$ 的相关性更强，这表明 $\Delta W$ 放大了 $W$ 中已经存在的一些特征；

（2）低秩矩阵潜在地放大了特定下游任务的重要特征，这些特征在一般的预训练模型中被学习但没有被强调。

4. 源码

源码：https://github.com/microsoft/LoRA

以 Linear 为例，代码比较简单：

5. 实际应用

LoRA 集成到 peft 库中。使用 LoRA，需要增加一个配置，其他代码没有变化。

（1）配置 LoRA 参数：

from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training

LORA_R = 16
LORA_ALPHA = 32
LORA_DROPOUT = 0.05
# Define LoRA Config
lora_config = LoraConfig(
 r = LORA_R, # the dimension of the low-rank matrices
 lora_alpha = LORA_ALPHA, # scaling factor for the weight matrices
 lora_dropout = LORA_DROPOUT, # dropout probability of the LoRA layers
 bias="none",
 task_type="CAUSAL_LM",
 target_modules=["query_key_value"],
)

# Prepare int-8 model for training - utility function that prepares a PyTorch model for int8 quantization training. <https://huggingface.co/docs/peft/task_guides/int8-asr>
model = prepare_model_for_int8_training(model)
# initialize the model with the LoRA framework
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

（2）训练部分（不变）：

from transformers import TrainingArguments, Trainer
import bitsandbytes

EPOCHS = 3
LEARNING_RATE = 1e-4 
MODEL_SAVE_FOLDER_NAME = "dolly-3b-lora"

training_args = TrainingArguments(
    output_dir=output_dir,
    learning_rate=1e-5,
    logging_steps=100,
    num_train_epochs=EPOCHS,
)

trainer = Trainer(
    model=peft_model,
    args=training_args,
    train_dataset=train_data_tokenized,
    eval_dataset=val_data_tokenized,
    data_collator=data_collator,
    tokenizer=tokenizer,
)
trainer.train()
# only saves the incremental   PEFT weights (adapter_model.bin) that were trained, meaning it is super efficient to store, transfer, and load.
trainer.model.save_pretrained(MODEL_SAVE_FOLDER_NAME)
# save the full model and the training arguments
trainer.save_model(MODEL_SAVE_FOLDER_NAME)
trainer.model.config.save_pretrained(MODEL_SAVE_FOLDER_NAME)

6. 总结

（1）低秩近似：LoRA 假设预训练模型的权重变化可以通过低秩矩阵来表示。这意味着相对于直接微调所有模型参数，通过低秩矩阵的调整，可以用更少的参数达到近似效果。

（2）参数效率：LoRA 只引入了少量的附加参数，这些参数是低秩矩阵的元素。由于这些矩阵的秩较低，所需的附加参数数量远小于模型的原始参数数量，显著减少了存储和计算开销。

（3）模块化设计：LoRA 通过在模型的特定层或模块中插入低秩矩阵，使其易于集成到各种预训练模型中，不需要对模型的原始结构进行大幅度修改。

LoRA 的设计和应用有效地解决了大规模模型微调中的高成本问题，使得在资源有限的环境中进行高效的模型适应成为可能。

7. 参考

[1] https://arxiv.org/abs/2106.09685

---

欢迎关注本人，我是喜欢搞事的程序猿； 一起进步，一起学习；

欢迎关注知乎/CSDN：SmallerFL

也欢迎关注我的wx公众号（精选高质量文章）：一个比特定乾坤

原文地址：https://blog.csdn.net/qq_36803941/article/details/140298164

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！