自学内容网 自学内容网
自学内容网 > 正文

用ComfyUI安装可图Kolors大模型做手机壁纸

🕗 发布于 2024-07-22 17:41 comfyui  kolors  可图大模型  

一、Kolors简介

国内科技公司快手在人工智能领域取得了显著进展，特别推出了「可图 Kolors」这一开源模型，它在图像生成质量上超越了SD3，与Midjourney v6模型相媲美，并支持中文提示词识别与生成中文字符，成为国产AI绘画模型的佼佼者。
在这里插入图片描述

Kolors模型亮点：

  • 基于潜在扩散技术：Kolors在数十亿文本-图像对上训练，擅长生成高质量人像图片。
  • 中文提示词理解：Kolors能准确理解中文提示词，包括复杂对象、颜色和位置关系。
  • 中文字符生成：支持生成多种字体的中文字符，包括黑体、手写、书法等，准确度高。
  • 本土化元素呈现：Kolors对中国元素如长城、故宫等有出色表现，满足本土化需求。
  • 性能评估：在FlagEval模型排行榜中位列第二，仅次于DALL·E 3。

使用Kolors模型：

用户可在Huggingface平台免费体验Kolors的图像生成效果，几秒内即可得到结果。

二、ComfyUI集成Kolors模型：

ComfyUI社区迅速响应，提供了ComfyUI-KwaiKolorsWrapper插件，使Kolors模型在本地得以应用。但需注意，Kolors目前限于学术研究使用，商用需注册。

安装步骤简述：

  1. 通过ComfyUI Manager安装KwaiKolorsWrapper插件。
    一般直接git clone 可能下载比较慢，如果使用代理安装可能会出现下面的错误 。

    在这里插入图片描述

    1. 命令行代理配置：如果您的网络需要通过代理访问互联网，您可以在命令行中设置代理。例如：

      export HTTPS_PROXY=http://proxyserver:port
export HTTP_PROXY=http://proxyserver:port
git clone https://github.com/kijai/ComfyUI-KwaiKolorsWrapper.git

      替换proxyserver和port为您的代理服务器地址和端口。

    2. 使用SSH方式克隆：如果 HTTPS 方式有问题，您可以尝试使用 SSH 方式来克隆仓库：

      git clone git@github.com:kijai/ComfyUI-KwaiKolorsWrapper.git

      这需要您在本地配置 SSH 密钥，并将其添加到 GitHub 账户中。

      我这里就直接使用第2种安装了。

  2. 在 ComfyUI文件夹中地址栏输入cmd打开终端，安装依赖项：

    运行 pip install -r requirements.txt。

    或者portable安装

    python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-KwaiKolorsWrapper\requirements.txt

在这里插入图片描述

安装完成运行run_nvidia_gpu.bat即可

  1. 在ComfyUI-KwaiKolorsWrapper\examples文件夹中，导入 kolors_example 工作流到 ComfyUI 中，这个工作流中的节点都是 Kolors 专属的。

  2. 工作流打开后，如果点击生成，后台会自动下载所需的各种模型文件，但是容易出错，推荐从我的网盘下载modes下载diffusers\Kolors和vae模型文件，分别放到根目录的 ComfyUI\models 文件夹中即可。

  3. 根据显存容量选择合适的模型精度：fp16（13G以上）、8bit（8G以上）或4bit（4G以上）。

模型节点功能：

  • **(Down)load Kolors Model 😗*加载Kolors模型，选择对应精度加载Kwai-Kolors/Kolors大模型。默认fp16精度
  • (Down)load ChatGLM3 Model：：加载 ChatGLM3 文本编码器。不同的模型需要选择不同的精度，对应关系为：fp16-fp16；quan8-8bit；quna4-4bit。
  • **Kolors Text Encode：**提示词输入框，如果在提示词后加上丨小符号，可以隔离提示词，同时生成多张图像；
  • **Kolors Sampler：**推荐使用 1024 分辨率，其余保持默认即可；
  • Load VAE：：可以使用 sdxl vae。。

快手的Kolors模型不仅在技术上取得了突破，更在本土化和用户体验上展现了其独特价值。随着官方对Kolors的持续优化和新应用的开发，包括 ControlNet、IP-Adapter 和 LCM 等，我们有理由期待它在AI绘画领域的更多创新与应用。

国内网络从以上魔搭社区下载，速度更快。

也可以从我的百度网盘整合包地址下载：下载链接

三、实际使用

方案

用户要用可图大模型生成手机壁纸，最直接的有两种方案。

1、直接固定尺寸576 * 1024

2、生成1024 * 1024，然后裁剪成576 * 1024

下面是用第二种方案生成手机壁纸的绘图效果：

在这里插入图片描述

可以看出用可图来替代MJ基本是可行的，成本更低。

生成手机壁纸中的问题

1、中文理解在两种尺寸下会有差异
在用kolors做手机壁纸时，客户说效果不好，有些会变形，缺少重要元素。我测试了一下，确实用9：16生成的效果跟1：1的默认生成图片是有区别的，我用中文生成座山雕，1：1生成的是鸟，而9：16默认生的座山雕这个人。我又测试了几个，没有1:1效果好，然后我把1：1的图片加一个缩放从中间裁剪的成9：16，这样可能会更好一些吧。所以上图是生成1：1的图后，从中间裁剪成9：16，虽然有时候会把关键的元素裁掉，但是这个效果相对来说是比较好的。
在这里插入图片描述
2、生成图片效果会有差异
再画两条金鱼看一下。9：16下，鱼不在水里了，抽卡其他图片，也会有所差异，大家可以试一下。
在这里插入图片描述
也用过其他方案处理测试，比如放大后插补等，效果都不太好。暂时先用两台服务器分别使用两种方案绘图，过段时间看看大部分客户绘图的要求是什么样的，再来固定方案。不知道大家有什么更好的方案？

总之，可图大模型是具有高生成质量、支持中文提示词和字符的先进AI绘画模型，长远来看国产AI大模型一定会超越国外，更适合国人使用。希望国产越来越强！


原文地址：https://blog.csdn.net/ddafei/article/details/140591064

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024