【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建
为了构建法律领域的垂直应用大模型，记录使用LLaMA-Factory微调大模型的过程，以期UU们可以复刻与应用。上文【01】LLaMA-Factory微调大模型——基础环境配置完成了初步的底层配置，本文则进入LLaMA-Factory搭建过程。
一、环境激活与工具安装
首先激活前文所配置好的LLM环境
conda activate LLM
安装Git，Git是一种版本控制系统，后文将使用Git获取框架及多个模型的代码
sudo apt install git
二、获取项目代码
安装 LLaMA Factory，首先从GitHub仓库中获取该项目代码
https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.mdgit clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
获取成功后进入 LLaMA Factory文件夹
使用如下命令安装依赖，使用国科大pip源进行加速
pip install -e ".[torch,metrics]" -i https://pypi.mirrors.ustc.edu.cn/simple可选的额外依赖项：torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality
成功安装依赖如上图所示，如在安装的过程中遇到包冲突时，可使用以下命令进行解决
pip install --no-deps -e三、网页端启动
使用LLaMA Board 可视化微调（由 Gradio 驱动）。Gradio是一个用于构建快速原型的开源库，可以创建界面来展示机器学习模型。用户可以直接在浏览器中与模型进行交互。使用如下命令进行创建。
llamafactory-cli webui
运行成功后，在7860端口创建了前端页面，可通过浏览器进行访问
小结
至此LLaMA-Factory框架成功在本机完成了搭建，下文【03】LLaMA-Factory微调大模型——多模型部署将部署多种主流的大模型，为后续的微调模型提供选择。欢迎您持续关注，如果本文对您有所帮助，感谢您一键三连，多多支持！
原文地址：https://blog.csdn.net/H66778899/article/details/140464000
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！