Linux下Comfyui+Flux安装及使用
1、anaconda下安装新的python环境
执行命令：
conda create -n comfyui python==3.9
安装完成后，通过以下命令进入该环境：
conda activate comfyui
2、下载ComfyUI，安装依赖
ComfyUI的github地址为：https://github.com/comfyanonymous/ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt如果出现如下报错：
ImportError: /data/work/anaconda3/envs/comfyui/lib/python3.9/site-packages/torch/lib/../../nvidia/cusparse/lib/libcusparse.so.12: undefined symbol: __nvJitLinkComplete_12_4, version libnvJitLink.so.12
解决方案参考：解决libcusparse.so.12: undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.12-CSDN博客
3、启动ComfyUI
python main.py --listen 0.0.0.0 --port 18188
4、模型安装位置
- 大模型：/ComfyUI/models/checkpoints
- loar模型：/ComfyUI/models/loras
- VAE模型：/ComfyUI/models/vae
- embeddings：/ComfyUI/models/embeddings
- ControlNet：/ComfyUI/models/controlnet
- Clip节点：/ComfyUI/models/clip
- Unet节点：/ComfyUI/models/unet
5、什么是Flux
Flux AI是由Black Forest Labs推出的一款最新的文本生成图像模型，这个团队是由从Stable Diffusion离开的原班人马，创立的全新用于AI绘图的大模型。
Flux AI模型以其卓越的视觉质量、精确的提示词遵循、多样化的风格和复杂场景生成能力而著称。它包含三个版本：FLUX.1 [pro]、FLUX.1 [dev]和FLUX.1 [schnell]，分别针对不同的使用场景和需求。
- FLUX.1 Pro是专为商业用途设计的闭源模型，提供最先进的图像生成性能。
- FLUX.1 Dev是一个开源的引导蒸馏模型，适用于非商业应用。
- FLUX.1 Schnell是专为本地开发和个人使用设计的快速版本。Flux AI模型采用了创新的混合架构，结合了多模态处理能力和并行扩散机制的Transformer技术，并扩展至高达120亿个参数。
这些模型在训练生成模型的方法上采用了流匹配技术，这种方法不仅通用性强，而且概念简洁，特别适用于包括扩散过程在内的各种情况。
flux的优点：
（1）画面更细节，效果更好
（2）图片文字支持更突出完整，输出更准确
（3）人物手部完整，符合现实，基本不会出错
（4）模型包含风格多，支持风格多样，不依赖额外的模型协助补充
（5）可忽略输入负面提示词，单靠正面提示词即可准确输出通过以上对比，flux之所以更强，是因为它的训练参数是比前两者更大，stable diffusion 3是最高8B的训练参数，约80亿，而flux 1的开始就是12B的训练参数，足足120亿，多了好几倍！单个模型的大小就有23G大小，可想而知，Flux强大是很有实力的。
6、Flux全版本说明
1）Flux官网首页：
https://blackforestlabs.ai/（需要魔法）
2）Flux官方（黑森林）的三个版本：
Pro版本效果最好，但是闭源，API收费的。
Dev版本开源但是不可商用，至少需要24G显存运行。
下载地址：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main（需要魔法）
Schnell版本开源可商用
下载地址：https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main（需要魔法）
官方三个版本的在线体验地址（需要魔法）：
schnell ：https://replicate.com/black-forest-labs/flux-schnell
dev：https://replicate.com/black-forest-labs/flux-dev
pro：https://replicate.com/black-forest-labs/flux-pro
3）Checkpoints版本
Comfy Org-fp8 版本
Comfyui官方推出的 3 合一版本，大概17G，模型已经集成Clip，直接使用checkpoints加载器就可以使用
下载地址：https://huggingface.co/Comfy-Org/flux1-dev/tree/main
Flux-NF4 版本
集成了Clip模型，有分V1，V2 版本，推荐使用V2，而且需要配合插件使用
插件下载：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
模型下载：https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main
4）unet-Kijia-FP8 版
KJ大佬制作的11G左右的模型，也需要配合两个Clip模型和Vae使用
模型下载：https://huggingface.co/Kijai/flux-fp8/tree/main
5）量化模型-gguf版
最适合低显存的模型，也需要配合插件使用，有 11 个版本，推荐Q4，Q8 版本的
模型下载：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main
6）低配置电脑版本推荐
首推NF4V2 版本，其次是gguf-Q4
7、Flux 低配版GGUF模型工作流部署
Flux 因为出图质量好、提示词还原度高、解决了AI绘画的坏手等诸多原因吸引了很多人的关注，但它超高的硬件配置同时也劝退了很多人。
好在 Flux 又出了一个 GGUF 版本。GGUF 版本的优势在于可以让6G显存的老显卡也能跑 Flux 了。虽然出图效果较 FP8 版本差了一点，但奈何 Flux 本身超强的出图质量，让 GGUF 最终的图片质量也一众模型中依旧显得很强。
（1）安装GGUF插件
进入ComfyUI/custom_nodes目录下，输入如下命令：
git clone https://github.com/city96/ComfyUI-GGUF.git
通过pip install gguf安装插件依赖python文件。
安装完成后重启ComfyUI就可以了。
（2）安装Manager插件
https://github.com/ltdrdata/ComfyUI-Manager
同样放到custom_nodes目录下。
（3）安装模型
到哩布哩布AI（LiblibAI-哩布哩布AI - 中国领先的AI创作平台），搜索“F.1-dev/fp8/NF4/GGUF-所需模型文件包”，（F.1-dev/fp8/NF4/GGUF-所需模型文件包-Other-墨幽-LiblibAI）
1）下载clip模型
点击”clip-1",右边有下载按钮。
根据页面下方的提示将模型安装到正确的路径下面。
将下载的clip模型放到ComfyUI/models/clip目录下。
2）下载其他模型
接着下载 GGUF 模型，这个文件包比较大，有14G多，下载好后按页面下方的说明将文件安装到相应的文件夹里。
该文件比较大，假如公司网络限速的话，可以直接获取下载地址，在linux服务器上下载。
Chrome浏览器上获取下载源地址的方法：
首先点击那14G文件进行下载
然后在浏览器上输入chrome://net-export/，单击开始记录日志，隔个5秒钟左右关闭记录，查看日志，找到liblibai-online.liblib.cloud的链接地址。
最后在linux服务器上直接通过wget命令进行下载。
注意这个是zip包，不是模型文件！！！下载之后需要通过unzip命令解压缩后才能使用。
下载中的日志：
查看下载进度的方法：
各模型的大小如下：
如果gguf模型想换成其他的，可参考：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main
将这些模型放在ComfyUI对应的目录下：
"ae.sft"放入comfyui目录下 models\vae
"clip-vit-large-patch14.bin"放入comfyui目录下 models\clip
"t5-v1_1-xxl-encoder-bf16.safetensors"放入comfyui目录下 models\clip
"flux1-dev-Q4_0.gguf"放入comfyui目录下 models\unet
模型都放置到对应的位置后，可以打开ComfyUI进行使用了。
8、ComfyUI的使用
（1）鼠标及快捷操作
按住鼠标左键，可以拖动视图
按住鼠标右键，可以看到有可选的栏位。
双击屏幕的空白处，可以搜索节点。
【快捷键】
生成图片：Ctrl+Enter
框选节点：Ctrl+鼠标左键
批量移动：Shift+鼠标左键
（2）概念解释
CLIP：contrastive Language-Image Pre-training。OpenAI发布的一款多模态预训练神经网络模型。作用：理解我们输入文字的意思。
Latent：潜空间。它是扩散模型图像内部的格式，如果将图像作为输入，则需要通过VAE编码将其转化为Latent数据。最后输出时，也需要通过VAE解码转化为像素格式。
上面的宽度/高度代表了最终生成图片的大小。
CFG：提示词引导系数。CFG值越高，图像与提示词越吻合；CFG值越低，图像与提示词越无关。过高或过低的CFG都会给图片带来不好的影响，所以CFG推荐使用5~8。
VAE：variational auto encoder，变分自编码器。是一种深度学习模型，主要用于无监督学习任务，在图形生成领域，VAE结合了神经网络和概率图模型的特点。在ComfyUI中，将潜空间图像编码成像素空间图像，或是将像素空间图像编码成潜空间图像。
扩散模型内在运行原理：
输入完提示词之后，文本编码器的CLIP模型会将提示词转化为特征向量，再由VAE编码器将这些特征向量传入到潜空间内。这些特征向量在潜空间内不断地降噪，最后再由VAE解码器将这些经过降噪之后的特征向量解码成由各个像素所组成的图片。
9、ComfyUI配置Flux的工作流示例
cfg值需要设置为1.0，我设置为5以上时完全无效果，这个不知道为啥有待研究！！
提示词：
A haute couture gown made of red bell pepper segments and cherry tomatoes is worn by a graceful model on the steps of an ancient Roman amphitheater. The dress’s vibrant red hues contrast with the weathered stone, while the glossy texture of the vegetables adds a unique sheen to the ensemble. The artistic combination of the vegetables creates a bold statement of innovation and style.
（1）基于GGUF模型的示例
出图效果：
（2）基于NF4模型的示例
本文参考：【ComfyUI教程】AI绘画，Flux 低配版GGUF模型工作流部署_flux.gguf-CSDN博客
【B站最全ComFyui教程】ComFyui工作流教程 从零基础入门到精通ComFyui教程 AI绘画商业变现_哔哩哔哩_bilibili
原文地址：https://blog.csdn.net/benben044/article/details/144710779
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！