Docker部署Meta-Llama-3.1-70B-Instruct API openai格式，vLLM速度对比
下载模型
modelscope环境，国内下载更快：
conda create -n modelscope python=3.10
conda activate modelscope
pip install modelscope
命令行下载：
https://modelscope.cn/models/LLM-Research/Meta-Llama-3.1-70B-Instruct
modelscope download --model 'LLM-Research/Meta-Llama-3.1-70B-Instruct' --local_dir '/data/xiedong/LLM-Research/Meta-Llama-3.1-70B-Instruct'
</原文地址：https://blog.csdn.net/x1131230123/article/details/143492970
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！