星海智算：【ShareGPT4Video】部署教程
ShareGPT4Video部署教程
一、项目介绍
项目亮点：
来自中国科学技术大学、北京大学、上海 AI Lab等团队的研究人员发布了ShareGPT4Video系列。这个项目不仅提升了视频理解和生成能力，还在HuggingFace平台获得了极高的点赞数。研究者们设计了一种创新的差分滑窗视频描述策略，能为任意长度的视频生成高质量字幕。ShareGPT4Video数据集包含4万条视频，总时长达291小时，覆盖多种场景。实验证明，使用这个数据集能显著提升视频理解多模态大模型的性能。
-
创新的差分滑窗视频描述策略：研究者们设计了一种新颖的描述生成方法，能够为任意长度的视频生成高质量字幕。
-
大规模数据集发布：ShareGPT4Video数据集包含4万条视频，总时长达291小时，覆盖了从野生动物到自动驾驶等多样化场景。
-
性能显著提升：通过实验证明，使用ShareGPT4Video数据集替换现有数据集，能够显著提升视频理解多模态大模型的性能。
显存配置要求：
- 16G显存以上英伟达显卡
二、项目部署
1、项目克隆
登陆星海智算选择基础镜像Ubuntu并选择显卡
选择V100显存为32G，足够当前模型使用
创建实例教程详见快速使用教程
创建完成后进入Jupyter界面
进入root目录(cd root)后输入一下命令克隆该项目
git clone https://github.com/ShareGPT4Omni/ShareGPT4Video克隆成功后在root目录下会出现对应项目的文件夹
创建虚拟环境并激活
conda create -n share4video python=3.10 -y
conda activate share4video我们运行项目需要在虚拟环境中运行防止不同项目之间的工具受影响
激活虚拟环境后进入share4video目录并依次输入安装依赖命令即可
pip install --upgrade pip
pip install -e .
pip install -e ".[train]"
pip install flash-attn --no-build-isolation2、项目运行
进入share4video目录后在此目录下运行app.py文件
cd ShareGPT4Video
python app.py此时运行会出现报错，是由于国内网络无法访问huggingface导致
OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like THUDM/chatglm-6b is not the path to a directory containing a file named configuration_chatglm.py.Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'此时我们只需进入app.py文件中将环境变量修改为国内镜像站即可
需要放在引用transformer库之前
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
修改完成后保存再次运行，此时就会自动下载所需模型并与运行
3、web界面本地访问
这里使用ssh隧道来使本地电脑可访问web
如何使用ssh连接请查看此文档SSH 隧道
进入web界面后只需将视频上传并且直接询问即可
原文地址：https://blog.csdn.net/2402_84709675/article/details/143688745
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！