Mac mini m4本地跑大模型（ollama + llama + ComfyUI + Stable Diffusion ｜ flux)
change log
2024-12-11 10:28（推荐重新观看）
- 针对绘画大模型的使用做进一步的详细操作（flux1dev）
见篇节（绘画大模型）
2024-12-10
- 更新了基础的chat大模型和绘画大模型的基础环境搭建。
安装chat大模型（不推荐，本地运行的大模型只能聊废话，不如网页版使用openAI等高效）
如果只是玩玩的话可以，llama3回复非常迅速，也非常有灵性，但是真实性非常差！！！请不要让他帮你干生产力工作。
首先下载ollama的安装包
https://ollama.com/
点击启动访问：http://localhost:11434
Ollama is running
代表已经运行起来了！
安装大模型和配置模型路径（macOS配置ollama模型路径）
Mac机身内存寸土寸金，外置硬盘盒将大模型安装到里面也可以运行，下面是修改ollama模型路径的方法：
- 官方说设置环境变量
OLLAMA_MODELS就可以了，但是在macOS上我试了好像没什么作用，包括设置访问权限chmod等都没用。 - 这里说我的解决方案：
创建符号链接的方案！
默认ollama会放到根目录：.ollama文件夹下，打开终端运行：cd ～/.ollama
- 创建符号链接
ln -s /Volumes/pm981a/ollama_models ~/.ollama/models
pm981a是我的外置硬盘盒，将
/Volumes/pm981a/ollama_models更改为你的路径即可
更改完之后重启ollama!
这时候打开默认的文件夹是这样的：(带个小箭头就是链接成功了）
然后运行命令下载模型文件：
ollama run llama3.2
你的外置硬盘盒里面就有模型了（如果你之前在默认文件夹下载好了，则把manifests,blobs两个文件夹拷贝到硬盘盒文件夹下就可以了）
下载好之后在终端命令窗口里面问它就可以对话了！
open webUI（可视化大模型对话界面）
macOS安装docker后运行下方命令就可以打开浏览器访问了
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
http://localhost:3000就可以看到页面了，设置密码后注意保存！
安装绘画大模型（推荐）
如果你想玩，这个是推荐的，可以随意的画画画！
软件环境
首先安装ComfyUI，去GitHub下载一个最新版本，用python跑起来就可以了，界面是工作流这种：
https://github.com/comfyanonymous/ComfyUI
具体安装步骤：
- 从releases下载好，解压进入根目录
- 创建python虚拟目录
python -m venv venv source venv/bin/activate - 执行安装
pip install -r requirements.txt项目中一般会有这个依赖文件
- 启动：
python main.py访问8188就可以了
硬件环境
- Mac mini m4（16+256G）
- 外置硬盘盒：pm981a(2T)
ComfyUI + flux.1绘画大模型（推荐）
- flux是黑森林工作室的绘画大模型，效果非常惊艳，细节性有显著优势，这是官网可以去瞅瞅；
- 其中官方flux有三个版本：pro，dev，schnel（效果递减，占用资源递减）
而pro是商用的，开源的只有后面两个dev和schnel。- 针对官方的flux有衍生出多个开源版本
GGUF就是其中的一个（dev和schnel)，我们使用这个。
flux(GGUF)
安装插件和下载模型flux(GGUF)
- 下载 Flux GGUF dev 模型 或 Flux GGUF schnell 模型 并将模型文件放置在
comfyui/models/unet目录下 - 下载 t5-v1_1-xxl-encoder-gguf,并将模型文件放置在
comfyui/models/clip目录下 - 下载 clip_l.safetensors 并将模型文件放置在
comfyui/models/clip目录下 - 下载 ae.safetensors 并将模型文件放置在
comfyui/models/vae目录下,建议重命名为flux_ae.safetensors - 安装 ComfyUI-GGUF 插件,将1的包解压复制到
comfyui/custome_nodes中
这是我下载的版本：GGUF(Q8[12GB]），t5(Q8[5GB])
注意：需要魔法网络！（如果没有可以联系我，1元一份）
GGUF 版本 Flux.1 工作流示例
flux-1-dev-gguf-example.json
文件太大，放文章上方资源区域了，免费的。
效果
这是我生成的狠人大帝手持吞天魔罐砸毁绿铜仙鼎的画面，一次性生成，个人感觉单论画面细节是非常不错的，画面表达方面就看各自语文水平了，🤣
========上方是2024.12.11 pm14:26更新
原文地址：https://blog.csdn.net/JGMa_TiMo/article/details/144371045
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！