LLaMA Pro是什么 相比于lora full freeze有什么区别 怎么使用
1. LLaMA Pro 是什么？
LLaMA Pro 是一种基于 LLaMA 架构改进的大型语言模型（LLM），旨在解决大模型微调中的知识遗忘问题。它通过在原有模型的基础上扩展新的模块（如 Transformer 块），并在微调时仅训练这些新增模块，从而在适应新任务的同时保留预训练模型的通用知识。LLaMA Pro 在代码理解、数学推理和语言理解等任务上表现出色，特别适合需要持续学习和多任务处理的场景。
2. LLaMA Pro 与 LoRA、Full、Freeze 微调的区别
| 方法 | 核心思想 | 优点 | 缺点 |
|---|---|---|---|
| LLaMA Pro | 在原有模型上扩展新模块，仅训练新增模块，保留预训练参数不变。 | 解决知识遗忘问题，适合多任务和持续学习；在特定任 |
原文地址：https://blog.csdn.net/weixin_51455837/article/details/145186263
免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！