自学内容网 自学内容网

llama gguf大模型文件合并

llama-gguf-split.exe下载

https://github.com/ggerganov/llama.cpp/releases
下载vulkan win64版本,解压后,把目录添加到环境变量

进入大模型文件目录,运行命令行:

llama-gguf-split.exe --merge qwen2.5-coder-7b-instruct-q4_k_m-00001-of-00002.gguf qwen2.5-coder-7b-instruct-q4_k_m.gguf


原文地址:https://blog.csdn.net/qq_45683435/article/details/143060438

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!