丹摩征文活动｜AIGC实践-基于丹摩算力和CogVideoX-2b实现文生视频

🕗 发布于 2024-11-11 09:18 AIGC 音视频丹摩文生视频 cogvideo

一、CogVideoX简介

CogVideoX 是由智谱AI开源的新一代视频生成模型，属于大型语言模型在多模态应用中的重要突破。CogVideoX-2b 版本在参数规模和推理速度上进行了优化，支持视频从文本描述生成，并进一步提升了视频的分辨率和流畅度。相比于上一代的模型，CogVideoX-2b 具备更好的语义理解能力，能够基于多种复杂场景和长文本描述生成高质量的视频片段。此版本开源，支持本地部署和复现，适合研究者、开发者进行多模态应用开发和探索。

CogVideoX 的核心在于它的 3D 变分自编码器，这项技术能够将视频数据压缩至原来的 2%，极大地降低了模型处理视频时所需的计算资源，还巧妙地保持了视频帧与帧之间的连贯性，有效避免了视频生成过程中可能出现的闪烁问题。

在这里插入图片描述

为了进一步提升内容的连贯性，CogVideoX 采用了 3D 旋转位置编码（3D RoPE）技术，使得模型在处理视频时能够更好地捕捉时间维度上的帧间关系，建立起视频中的长期依赖关系，从而生成更加流畅和连贯的视频序列。

在可控性方面，智谱 AI 研发了一款端到端的视频理解模型，这个模型能够为视频数据生成精确且与内容紧密相关的描述。这一创新极大地增强了 CogVideoX 对文本的理解和对用户指令的遵循能力，确保了生成的视频不仅与用户的输入高度相关，而且能够处理超长且复杂的文本提示。

代码仓库：https://github.com/THUDM/CogVideo
模型下载：https://huggingface.co/THUDM/CogVideoX-2b
技术报告：https://github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf

二、CogVideoX部署实践流程

1. 创建丹摩实例

丹摩（Damo）提供了便捷的环境配置与高性能计算资源支持，非常适合部署大型语言模型和视频生成模型。

首先，我们登录丹摩官网，创建新实例。

在这里插入图片描述

由于 CogVideoX 在 FP-16 精度下的推理至少需 18GB 显存，微调则需要 40GB 显存，我们这里需要选择大于 40GB 显存的实例。

在这里插入图片描述

硬盘选择默认的 100GB 系统盘和 50GB 数据盘。

在这里插入图片描述

镜像选择 PyTorch2.3.0、Ubuntu-22.04，CUDA12.1 镜像。

在这里插入图片描述

创建密钥对。

在这里插入图片描述

选择我们刚刚创建的密钥对。

在这里插入图片描述

配置选择完成后，点击立即创建。创建后如图：

在这里插入图片描述

点击操作里的JupyterLab，进入JupyterLab的页面。平台已预置了调试好的代码库，开箱即用。

在这里插入图片描述
点击Terminal，进入终端页面。

首先，拉取 CogVideo 代码的仓库。

wget http://file.s3/damodel-openfile/CogVideoX/CogVideo-main.tar

在这里插入图片描述

下载完成后解压缩CogVideo-main.tar

tar -xf CogVideo-main.tar

其次，进入 CogVideo-main 文件夹，输入安装对应依赖：

cd CogVideo-main/
pip install -r requirements.txt

在这里插入图片描述

以上依赖安装好后，可以在终端输入 python，然后输入以下代码进行测试：

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

在这里插入图片描述

显示如下状态，没有报错就说明依赖安装成功！输入 Ctrl+D 可退出 python。

2. 上传模型与配置文件

除了配置代码文件和项目依赖，还需要上传 CogVideoX 模型文件和对应的配置文件。

官方模型仓库：https://huggingface.co/THUDM/CogVideoX-2b/tree/main
基于官方模型仓库的配置方法推荐您阅读：https://blog.csdn.net/air__Heaven/article/details/140967138

平台已为您预置了 CogVideoX 模型，您可内网高速下载，执行以下命令：

cd /root/workspace
wget http://file.s3/damodel-openfile/CogVideoX/CogVideoX-2b.tar

下载完成后解压缩CogVideoX-2b.tar。

tar -xf CogVideoX-2b.tar

解压后的目录如图所示：

在这里插入图片描述

3. 生成视频

进入CogVideo-main文件夹，运行test.py文件：

cd /root/workspace/CogVideo-main
python test.py

在这里插入图片描述
等待加载完成。

test.py 代码内容如下：

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

# prompt里写自定义想要生成的视频内容
prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "/root/workspace/CogVideoX-2b", # 这里填CogVideo模型存放的位置，此处是放在了数据盘中
    torch_dtype=torch.float16
).to("cuda")

# 参数do_classifier_free_guidance设置为True可以启用无分类器指导，增强生成内容一致性和多样性
# num_videos_per_prompt控制每个prompt想要生成的视频数量
# max_sequence_length控制输入序列的最大长度
prompt_embeds, _ = pipe.encode_prompt(
    prompt=prompt,
    do_classifier_free_guidance=True,
    num_videos_per_prompt=1,
    max_sequence_length=226,
    device="cuda",
    dtype=torch.float16,
)

video = pipe(
    num_inference_steps=50,
    guidance_scale=6,
    prompt_embeds=prompt_embeds,
).frames[0]

export_to_video(video, "output.mp4", fps=8)

从python代码我们不难了解到，这里主要使用diffusers库中的CogVideoXPipeline模型，加载了一个预训练的 CogVideo 模型，然后根据一个详细的文本描述（prompt），生成对应视频。

生成的视频为output.mp4，如图所示：

在这里插入图片描述

4. 预览生成结果

模型官方也提供了 webUIDemo，进入CogVideo-main文件夹，运行gradio_demo.py文件：

cd /root/workspace/CogVideo-main
python gradio_demo.py

运行后我们可以看到，访问路径是本地 urlhttp://0.0.0.0:7870：

在这里插入图片描述

此时我们需要通过丹摩平台提供的端口映射能力，把内网端口映射到公网。

进入GPU 云实例页面，点击实例，进入实例详情页面，点击添加端口。

在这里插入图片描述

然后通过链接访问即可。

在这里插入图片描述

三、总结

本教程详细介绍了如何本地部署和实践 CogVideoX-2b 模型的全过程，从创建丹摩实例、配置环境到实际生成视频的步骤，为开发者提供了清晰的指导。CogVideoX-2b 通过其先进的3D变分自编码器和3D RoPE技术，大大提高了视频生成的效率和质量，您将能够直接体验和操作这一先进的文本到视频生成模型，为多模态应用的开发提供了更多可能性。

原文地址：https://blog.csdn.net/weixin_41793160/article/details/143645978

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：[Docker#2] 发展历史 | Namespace环境隔离 | Cgroup资源控制
下一篇：ASMR助眠声音视频素材去哪找吃播助眠素材网站分享

Java项目:校园宿舍管理系统(优质版)(Springboot3+Maven+Mybatis Plus+Vue3+ Element Plus+Mysql)
Springboot3+Maven+Mybatis Plus+Vue3+ Element Plus+Mysql 开发的前后端分离的校园宿舍管理系统。
阅读更多2024-11-16
IntelliJ IDEA新建项目或导入未识别为maven解决
1.首先，我的情况是我新建了一个springboot项目，然后选择类型是Maven但是建立后不是maven项目。当然，前提是你的maven已经在idea上做好配置了。2.打开项目后，从File --》
阅读更多2024-11-16
Gin HTML 模板渲染
Gin HTML模板入门
阅读更多2024-11-16
未来的车网互动如何重塑我们的城市生活
设想一下，在一个寒冷的冬日，你的车辆通过车网互动得知前方桥梁可能结冰，它会自动降低速度，并提醒你注意驾驶安全。公众的参与同样重要，只有当越来越多的车辆加入到车网互动系统中，才能真正发挥其潜力，提高整个
阅读更多2024-11-16
人工智能技术的应用前景及其对生活和工作方式的影响
人工智能技术的应用前景广阔，它不仅在医疗、企业和日常生活中带来了显著的变化，还将继续推动社会的创新和发展。面对 AI 技术带来的机遇和挑战，我们需要共同努力，确保技术的发展能够造福人类社会，创造一个更
阅读更多2024-11-16
《AI技术，让生活更简单》
想象一下，你回到家，灯自动亮了，空调调到你喜欢的温度，冰箱告诉你牛奶快没了，甚至还能帮你预约超市送货。这不是科幻电影，这就是AI技术正在做的事情。
阅读更多2024-11-16
sychronized锁
sychronized 关键字能成为锁的原因，是因为它提供了**内置锁（Intrinsic Lock）**机制，用于线程同步，确保同一时刻只有一个线程能够访问被标记为 synchronized 的代码
阅读更多2024-11-16
SpringBoot 2.2.10 无法执行Test单元测试
同样的Idea版本，现有的项目却可以执行，按照C老师的提示增加对junit5的引用支持，依然没有，StackOverflow上也是提示增加依赖，依赖加完之后执行报错一个 EnginListener N
阅读更多2024-11-16
springMVC 全局异常统一处理
进⾏异常处理，具有集成简单、有良好的扩展性、对已有代码没有⼊侵性等优点，但该⽅法仅能获取到异常信息，若在出现异常时，对需要获取除异常以外的数据的情况不适⽤。Unchecked Exception，⽽
阅读更多2024-11-16
thinkphp6配置多应用项目及多域名访问路由app配置
ThinkPHP 多应用模式初探
阅读更多2024-11-16

丹摩征文活动｜AIGC实践-基于丹摩算力和CogVideoX-2b实现文生视频

一、CogVideoX简介

二、CogVideoX部署实践流程

1. 创建丹摩实例

2. 上传模型与配置文件

3. 生成视频

4. 预览生成结果

三、总结

相关文章