自学内容网 自学内容网

【comfyui教程】Comfyui系列教程(二):ComfyUI文生图基础流程

前言

上一期带大家对comfyui的安装有了基本的认知,本期教大家搭建基础的文生图工作流。

首先我回忆一下在原先的SD WEBUI中进行文生图的时候用到了哪些功能包括了:

  1. **大模型:**这是整个流程的基础,通常指的是一个预训练的深度学习模型,用于生成或处理数据。

  2. **正向提示词:**这些是输入到大模型中的文本,用于引导模型生成或预测特定的输出。

  3. **反面提示词:**与正向提示词相对,这些是用于避免不希望的输出或引导模型避免某些特定的行为。

  4. **采样器:**在生成模型中,采样器决定了如何从模型的输出分布中选择最终的输出。

  5. **步数:**这通常指的是在生成过程中模型需要进行的迭代次数。

  6. **宽高:**在图像处理中,这指的是生成图像的尺寸。

  7. **VAE:**变分自编码器(Variational Autoencoder),一种生成模型,用于学习数据的潜在表示。

  8. **显示图像:**这是流程的最终输出,即生成的图像。

所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~

在这里插入图片描述

创建流程:

大模型加载器:

  1. **打开右键菜单:**首先,我们点击右键打开菜单。

  2. **选择新建节点:**在菜单中找到并选择“新建节点”选项。

  3. **浏览加载器列表:**在弹出的窗口中,我们会看到许多不同的加载器选项。

  4. **识别熟悉的加载器:**我们的目标是找到几个特定的加载器,包括“大模型加载器”、“VAE加载器”和“Lora加载器”。

  5. **添加大模型加载器:**我们将“大模型加载器”添加到场景中。我们也可以使用“Checkpoint Loader”

文本输入节点(CLIP文本编码器):

  1. 添加关键词输入节点:首先,我们需要添加一个用于输入关键词的节点。

  2. 选择CLIP文本编码器:在新建节点的选项中,我们选择“CLIP文本编码器”。这个节点没有区分正反关键词,因此我们将使用它来输入正反关键词。

  3. 添加两个CLIP文本编码器:为了输入正反关键词,我们需要添加两个“CLIP文本编码器”节点。

  4. 修改节点名称和颜色:为了区分正反关键词,我们可以修改节点的名称和颜色。通过右键点击节点上方,选择“标题”来输入新的名称,然后通过“颜色”选项来选择不同的颜色。

  5. 连接Checkpoint加载器和CLIP文本编码器:我们注意到“Checkpoint加载器”和“CLIP文本编码器”都有一个黄色的点,表示它们可以连接。我们可以通过将鼠标放在黄点上,当出现“十”字标识时,按住左键拖动到另一个节点的对应位置来连接它们。

采样器:

在Stable Diffusion模型中,采样器(Sampler)的作用是从噪声数据中逐步构建图像。它们通过逐渐减少噪声的强度,使图像的细节逐渐显现,直至变得清晰。

“右键——采样——采样器(这个地方是有两个采样器的,我们选择普通的采样器就好)”。

  1. **随机种子:**用于生成每张图像的独特编号,确保每次生成的图像都有不同的随机性。

  2. **运行后操作:**决定种子值是固定、增加、减少还是随机。通常我们选择固定或随机,以控制图像生成的一致性或多样性。

  3. **步数:**设置去除噪声的迭代次数,即生成图像所需的计算步骤数量。

  4. CFG:提示词引导系数,用于调整生成图像与输入提示词的匹配程度。一般设置在8左右。

  5. **采样器:**有多种选项可供选择,每种采样器都有其特定的特性和适用场景。常见的选择包括euler_ancestral、dpmpp_2m等。

  6. **调度器:**控制每次迭代中噪声量的大小,常见的选择有normal或karras。

  7. **降噪:**与步数相关,用于调整实际执行的步数。例如,如果设置为1,则完全按照输入的步数执行;如果设置为0.1,则只执行10%的步数。

各种采样器的描述和特点

在这里插入图片描述

调度器:

  • 调度器的作用:调度器通过控制噪声的减少,影响着图像生成的每个阶段。

  • 调度器的影响:不同的调度器设置会导致图像生成过程和最终结果的差异。

  • 调度器的重要性:调度器的选择和配置对于生成高质量图像至关重要。

各种调度器的描述和特点

在这里插入图片描述

宽高(空Latent):

  1. 添加Latent节点:
  • 鼠标点击“Latent”节点。

  • 拖动并释放,选择“空Latent”选项。

  • 系统会自动添加一个新的Latent节点,并与原先的节点连接。

  1. 通用节点添加方法:
  • 这种添加节点的方法适用于所有类型的节点,包括模型和CLIP文本编码器。

  • 通过拖动节点的连接点,可以快速添加新的节点并建立连接。

  1. 设置宽高:
  • 在Latent节点中设置生成图像的宽度和高度。
  1. 设置批次:
  • 批次(Batch size)指的是一次生成图像的数量。

VAE解码:

  1. 添加VAE解码节点:
  • 右键点击空白区域,选择“新建节点”。

  • 选择“Latent”类别下的“VAE解码”。

  • 通过左键拖拽,可以直接添加并连接节点。

  1. 连接VAE解码的Latent:
  • 将“VAE解码的Latent”节点与“采样器的Latent”节点相连。
  1. 处理剩余的VAE连接点:
  • 在左侧会剩下一个未连接的VAE连接点。

  • 将“Checkpoint加载器”的剩余“VAE”连接点与“VAE解码”的连接点相连。

  1. 连接方法的选择:
  • 大部分大模型都包含有VAE模型在里面,我们可以直接连接。

  • 也可以选择添加一个“VAE加载器”去加载一个VAE模型进行连接。

  • 这两种连接方法选择其中一个即可。

保存图像:

  1. 添加保存图像节点:
  • 右键点击空白区域,选择“新建节点”。

  • 选择“图像”类别下的“保存图像”。

  • 通过左键拖拽,可以直接添加并连接节点。

  1. 选择保存图像或预览图像:
  • 我们可以选择“保存图像”或“预览图像”。

  • “保存图像”相比“预览图像”多了一个功能,就是将生成的图像保存到“ComfyUI下的output”文件夹里。

  • “保存图像”同样具有预览功能。

  1. 连接保存图像节点:
  • 将生成流程的最后一个节点(如采样器)与“保存图像”节点相连。

出图:

  1. 输入关键词:
  • 在CLIP文本编码器节点中输入正面和负面关键词。
  1. 调节参数:
  • 调整模型、步数、宽度、高度等参数,以满足生成图像的需求。
  1. 启动图像生成:
  • 点击界面右侧的设置面板中的“提示词队列”按钮。

  • 或者使用快捷键“Ctrl+回车”来启动图像生成过程。

  1. 检查节点连接:
  • 如果图像生成成功,说明所有节点的连接都是正确的。
  1. 保存工作流:
  • 按照之前课程的指导,保存当前的工作流,以便将来重复使用。
  1. 监控生成过程:
  • 在图像生成过程中,可以通过观察哪个节点被绿色框选中来判断当前进行到哪一步,这有助于熟悉整个生成流程。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img


原文地址:https://blog.csdn.net/2401_84760719/article/details/143503376

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!