【学习心得】算力云平台上的大模型部署并实现远程调用
以AutoDL算力云平台为例，部署国产开源ChatGLM3b模型。
一、准备工作
（1）准备一台算力服务器
首先，进入AutoDL官网的算力时长选择算力服务器资源。
创建好后会自动跳转控制台的“容器实例”界面，稍等片刻后选择“快捷工具 > JupyterLab”开始部署。
通过jupyter lab的形式远程访问算力服务器后点击“终端”。
（2）准备开源大模型的部署环境
你想部署哪个大模型就事先去GitHub或者Hugging face找到代码仓库，然后在终端中克隆项目，本文以ChatGLM3为例。
https://github.com/THUDM/ChatGLM3
如果你按照本文的方式，通过Github来进拉取项目的话，还必须开启一下学术资源加速。输入命令开启学术资源加速（此方法只能用在AutoDL中）
在终端中输入命令进行项目克隆。
# 开启学术加速
source /etc/network_turbo
# 克隆ChatGLM3的项目仓库
git clone https://github.com/THUDM/ChatGLM3.git
# 关闭学术加速
unset http_proxy && unset https_proxy
使用conda命令来创建一个虚拟环境。
conda create -n glm3_env python=3.10
创建虚拟环境成功，记得先初始化conda再激活进入虚拟环境。
# 初始化conda
conda init
# 进入刚刚创建好的虚拟环境
conda activate glm3_env
进入项目路径后，更新一下python的pip包，为安装requirements.txt中的环境依赖库做准备。
# 进入ChatGLM3大模型的项目路径
cd ChatGLM3/
# 更新一下pip包
pip install --upgrade pip
输入命令安装所需的库，这个过程比较久有很多的东西需要下载，耐心等待。
pip install -r requirements.txt如果安装环境依赖包的过程中失败了，重新执行一次上面这个命令就好。
二、下载模型
我们把大模型下载到指定的位置，比如autodl-tmp路径下。所以先进入这个路径，然后更新一下apt软件包管理工具，并下载git-lfs扩展。
| AutoDL的目录 | 名称 | 速度 | 说明 |
| / | 系统盘 | 一般 | 实例关机数据不会丢失，可存放代码等。会随保存镜像一起保存。 |
| /root/autodl-tmp | 数据盘 | 快 | 实例关机数据不会丢失，可存放读写IO要求高的数据。但不会随保存镜像一起保存（所以我们把模型下载到这里面） |
# 进入想要存放下载下来的大模型的路径中
cd /root/autodl-tmp
# 更新apt软件包
sudo apt update
# 更新软件包的目的是为了下载安装git-lfs
sudo apt-get install git-lfs补充说明一下什么是git-lfs？Git Large File Storage (LFS) 是一个 Git 扩展，用于管理大文件，如图像、视频、大型数据集、二进制文件等（在本文中就是GLM3模型）。这些文件通常不适合直接存储在 Git 仓库中，因为它们会导致仓库变得非常庞大，影响性能和版本控制的效率。Git LFS 通过将大文件的实际内容存储在远程服务器上，而在本地仓库中只保留指向这些文件的指针，从而解决了这些问题。
之前我们去了国外的github去下载ChatGLM3的项目路径需要打开学术资源加速，现在我们去下载ChatGLM模型，如果是从hugging face上下载，那么也许要打开学术资源加速。但我现在演示去魔塔社区下载，因此就不需要加速了。直接输入命令进行模型下载。
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
进入刚刚git clone过来的chatglm3-6b目录中，使用git lfs pull命令拉取模型文件。
# 进入模型存放路径
cd /root/autodl-tmp/chatglm3-6b
# 下载模型
git lfs pull然后就是耐心等待模型下载完成。
三、验证模型是否部署成功
ChatGLM3的项目仓库中自带了demo文件可以帮助开发者快速测试一下模型是否部署成功。我只需要找到对应文件夹下的demo文件执行即可。
（1）命令行CLI测试
# 进入存放demo的路径下
cd /root/ChatGLM3/basic_demo
将cli_demo.py代码中的模型路径换成刚刚自己下载保存模型的路径。
在终端运行命令启动cli_demo.py测试模型是否部署成功。
# 在cli_demo.py文件所在路径下执行命令
python cli_demo.py
如果你模型下载不完整，命令行就会下面这个错误：
safetensors_rust.SafetensorError: Error while deserializing header: MetadataIncompleteBuffer此时可以输入命令检查一下文件完整性。
# 星号 * 表示文件已经下载到本地，没有星号表示文件尚未下载。
git lfs ls-files
【注】有两个模型没有下载成功，怎么办呢？使用 git lfs fetch命令可以重新下载没有下成功的模型。如果还是无法下载的话，就直接删掉chatglm3-6b文件夹，重新克隆。
git lfs fetch origin model-00001-of-00007.safetensors那我这里出现的问题是数据盘空间用完了，所以还得先去扩容，扩容后需要重启实例才能生效，然后再去执行上面的命令。
重新克隆下载模型后检查文件完整性终于没问题了！
（2）WebUI测试
我们找到指定的demo文件，通过命令启动。这里比cli_demo麻烦一点的是需要做一下ssh端口映射。
补充说明一下SSH的知识点：
SSH（Secure Shell）是一种安全的网络协议，用于在网络上传输加密的数据流，常用于远程登录和管理计算机。在这里，就是使用SSH命令使用自己本地的电脑访问远程AutoDL服务器上跑起来的大模型Web应用。
不要忘记修改源代码中的模型路径。修改完成后保存并在终端中运行命令启动WEB应用。
# 运行streamlit应用
streamlit run web_demo_streamlit.py
接下来，我们在自己的电脑上使用SSH连接远程的算力服务器上的Web应用。
# 在自己的电脑上面打开CMD运行SSH命令
"""
这条命令意思是通过 SSH 协议连接到名为 connect.westb.seetacloud.com 的主机，使用端口 21133 并以用户名 root 登录。
"""
ssh -p 21133 root@connect.westb.seetacloud.com但复制过来的SSH命令并没有设置端口映射。我们还需要修改一下这个命令。
"""
修改后的命令增加了几个选项：
-C: 表示启用压缩。
-N: 不执行任何命令，仅建立隧道。
-g: 允许远程主机通过隧道转发连接。
-L 6006:127.0.0.1:7860 设置本地端口转发，将本地的 6006 端口转发到远程主机的 8501 端口。
-p 21133 指定使用端口 21133 进行连接。
"""
ssh -CNg -L 6006:127.0.0.1:8501 root@connect.westb.seetacloud.com -p 21133【注】-p参数后面的端口，是你远程服务器SSH命令复制过来的-p端口。
【注】"6006:127.0.0.1:8501" == "（自己电脑访问的端口）:127.0.0.1:（远程算力服务器上启动的Web服务的端口）"
【注】输入密码不会有提示，并且区分大小写，输入完成后不报错就说明成功了，不是卡主了。当你想断开连接，只需要Ctrl+C终止终端中的SSH就可以了。
原文地址：https://blog.csdn.net/qq_39780701/article/details/143831286
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！