使用LMDeploy部署InternVL2，速度测试
这个博客内容详细介绍了基于 InternVL2-40B 模型的多模态API服务的构建和使用，以下是主要内容的概述：
项目概述
该项目的目标是构建一个多模态API服务，使用 InternVL2-40B 模型，通过API接口接收图像和文本输入，并生成相应的描述性文本输出。服务运行在Docker环境中，并使用lmdeploy库进行模型的部署。
环境准备
- 相关资源链接: 提供了多个链接，包括模型的Hugging Face页面、
lmdeploy文档、Dockerfile的GitHub链接和所有InternVL2模型的集合。
Docker镜像构建
详细说明了如何使用Dockerfile构建环境，其中包括CUDA及其依赖库的配置。提供了具体的Docker构建命令。
服务启动
- 启动容器: 介绍了如何使用特定命令启动Docker容器，并配置GPU支持和文件共享。
- 启动API服务: 介绍了如何启动API服务，并指定相应的参数和模型格式。
原文地址：https://blog.csdn.net/x1131230123/article/details/142867721
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！