高效微调理解（prompt-tuning，p-tuning v1，p-tuning v2，lora）
高效微调（prompt-tuning，p-tuning v1，p-tuning v2，lora）
1.prompt-tuning：
例子理解；保持原本模型参数不变，通过训练提示词的参数调整prompt，使其与下游任务匹配。
例子：
2.p-tuning：
与prompt-tuning不同的是， prompt 不再是固定的文本，而是通过可学习的向量来表示
例子：
3.p-tuning v2：
与p-tuning不同的是v2在每一层（encoder / decoder）都加入[learned prefix]。
4.lora：
Lora方法指的是在大型语言模型上对指定参数增加额外的低秩矩阵，也就是在原始PLM旁边增加一个旁路，做一个降维再升维的操作。并在模型训练过程中，固定PLM的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与PLM的参数叠加。用随机高斯分布初始化A，用0矩阵初始化B。
结构图：
原文地址：https://blog.csdn.net/qq_43572514/article/details/142762742
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！