使用 vllm 部署 MiniCPM-o 2.6
使用 vllm 部署MiniCPM-o 2.6
1. 创建虚拟环境
conda create -n vllm_openbmb python=3.11 -y
conda activate vllm_openbmb
2. 克隆代码
git clone https://github.com/OpenBMB/vllm.git
cd vllm
git checkout minicpmo
3. 从代码安装 vllm
VLLM_USE_PRECOMPILED=1 pip install --editable .
4. 安装 flash-attn
pip install flash-attn --no-build-isolation
5. 启动 MiniCPM-o 2.6
CUDA_VISIBLE_DEVICES=3,1,0,2 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \
vllm serve openbmb/MiniCPM-o-2_6 --trust-remote-code --served-model-name gpt-4 --gpu-memory-utilization 0.98 --tensor-parallel-size 4 --port 8000 --api-key sk-123456
6. 使用 chatbox 客户端访问并测试一下
参考资料：
原文地址：https://blog.csdn.net/engchina/article/details/145259261
免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！