通过LlaMA-Factory导出的模型部署到Ollama
LlaMA-Factory导出的模型转换格式
仓库地址：https://github.com/ggerganov/llama.cpp
git clone仓库之后，下载相关依赖：
cd /opt/gl/llama.cpp-master/llama.cpp-master
pip install -r requirements.txt
转换大模型格式
转换为gguf格式
python convert_hf_to_gguf.py /opt/gl/model/lin_model --outfile /opt/gl/model/lin_model.gguf --outtype q8_0
创建ModelFile文件
FROM D:\ollama\models\lin_model\lin_model.gguf
添加自定义模型
ollama create lin_model -f D:\ollama\models\lin_model\ModelFile
查看本地模型
运行本地大模型
ollama run lin_model:latest
原文地址：https://blog.csdn.net/qq_35175478/article/details/145028222
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！