自学内容网 自学内容网
自学内容网 > 正文

【stablediffusion】SD炸裂升级！震撼首发上线，全新扩散架构OmniGen，AI生图一个模型走天下

🕗 发布于 2024-11-10 18:11 stable diffusion  人工智能  计算机视觉  AI作画  人工智能作画  

统一图像生成新突破！智源发布OmniGen架构,单模型解决所有任务

大语言模型(LLM)的出现,让我们见证了语言生成任务的统一变革,彻底改变了人机交互方式。

然而在图像生成领域,想要在单一框架内解决各类任务的"统一模型",始终是个难题。

近日,智源研究院带来重磅消息 - 全新扩散模型架构OmniGen问世。这个创新架构首次实现了图像生成任务的统一,一个模型就能完成多种生成需求,让繁琐的工作流成为历史。

OmniGen具有以下特点：

  1. **统一性：**OmniGen天然地支持各种图像生成任务，例如文生图、图像编辑、主题驱动生成和视觉条件生成等。此外，OmniGen可以处理经典的计算机视觉任务，将其转换为图像生成任务。

  2. **简单性：**OmniGen的架构高度简化。此外，与现有模型相比，它更加用户友好，可以通过指令完成复杂的任务，而不需要冗长的处理步骤和额外的模块（如ControlNet或IP-Adapter），从而大大简化了工作流程。

  3. **知识迁移：**受益于统一格式的学习，OmniGen有效地跨不同任务迁移知识，应对未见过的任务和领域，并展示新颖的功能。研究人员还探讨了模型的推理能力和思维链机制的在图像生成领域的潜在应用。

论文地址：https://arxiv.org/pdf/2409.11340

代码仓库：https://github.com/VectorSpaceLab/OmniGen

Demo: https://huggingface.co/spaces/Shitao/OmniGen

1. 文本到图像生成

2. 指代表达生成

  • 不仅能像InstantID那样处理单人图片

  • 更能从多人图像中精准定位目标对象

  • 无需额外模块，一步到位完成新图生成

例如，OmniGen可根据指令直接从多人图像中定位目标对象，并生成遵循指令的新图像，而无需任何额外的模块和操作：

更多样例：

3. 通用图像条件生成

✨具备ControlNet全部功能

✨内置人体姿态估计、深度估计等传统视觉任务能力

✨ 真正实现"一键生成"，告别繁琐中间步骤

同时，OmniGen还能更进一步简化中间流程，一步出图：直接输入原图，输入指令「Following the human pose (or depth mapping) of this image, generate a new image: …」，就可根据输入图像的人体姿态或深度图关系生成新图像。

在这里插入图片描述

4. 图像编辑

  • 支持多条编辑指令同时执行

  • 一次运行，多重效果，效率提升显著

OmniGen具备良好的图像编辑能力，并且可以在一次运行中同时执行多条编辑指令，例如：

5. 更多能力

  • 支持非显式查询指令的智能理解

  • 具备上下文学习能力，可参考样例完成任务

  • 首创图像生成领域的"思维链"机制，像人类一样step by step创作

另一方面，OmniGen具有一定程度的上下文学习能力，可根据参考样例对图像进行处理。

例如，输入一个分割皇后象棋的输入-输出配对样例（Example），模型能识别并分割新输入图像中对应的物体：

思维链（Chain-of-Thought, CoT）方法将任务分解为多个步骤，并按顺序求解每个步骤以获得准确的最终答案，从而显著提高了LLM的性能。

使用教程

1.登录chenyu.cn（搜索omnigen）

2.输入提示词

在这里插入图片描述

_提示词：_一个男人和一个留着短发、满脸皱纹的女人站在图书馆的书架前。这个男人是<【image_1】>中间的那个男人，那个女人是<【image 2】>中最年长的女人。

这样就能把两种图片中特定的人物提取，放到一张图片

_提示词：_花<|image_1|>被放置在客厅木桌上<\|image_2|><V/IMG>中央的花瓶中。

物品也是同样可以

也能通过提示词，直接在保持原图元素完全不变的情况下

更改其他元素

在这里插入图片描述

_提示词：__<image_1>_摘下女人的耳环，用一个装满闪闪发光的冰可乐的透明玻璃杯取代杯子。

在这里插入图片描述

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述
在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述


原文地址：https://blog.csdn.net/2401_85688943/article/details/143660964

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024