国产GPU中，VLLM0.5.0发布Qwen2.5-14B-Instruct-GPTQ-Int8模型，请求返回结果乱码

概述

国产GPU: 

         DCU Z100

推理框架：

          vllm0.5.0

docker容器化部署

运行如下代码：

  python -m vllm.entrypoints.openai.api_server --model /app/models/Qwen2.5-14B-Instruct-GPTQ-Int8 --served-model-name qwen-gptq --trust-remote-code --enforce-eager --max-model-len 256 --tensor-parallel-size 2 --dtype float16 --quantization gptq --port 8001 --host *.*.*.*

报：

解决方案

1.重新拉取docker容器

  docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-zk-v1 

2.运行容器

docker run -it --name=dtk24041_qwen2_vllm -v /app/GLM-4-main:/work --privileged -v /app/models:/app/models -v /opt/hyhal:/opt/hyhal --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --security-opt seccomp=unconfined --ipc=host --network host --group-add video --ulimit memlock=-1:-1 --cap-add=SYS_PTRACE  023c9d2c0174  /bin/bash

3.进入容器 

docker exec -it dtk24041_qwen2_vllm  /bin/bash

4.运行

  python -m vllm.entrypoints.openai.api_server --model /app/models/Qwen2.5-14B-Instruct-GPTQ-Int8 --served-model-name qwen-gptq --trust-remote-code --enforce-eager --max-model-len 256 --tensor-parallel-size 2 --dtype float16 --quantization gptq --port 8001 --host *.*.*.*

5.调用

curl http://*.*.*.*:8001/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "qwen-gptq","messages": [{"role": "system", "content": "你是一个乐于助人的助手。"},{"role": "user", "content": "讲个笑话"}],"stop": ["<|im_end|>", "<|endoftext|>"]}' 

原文地址：https://blog.csdn.net/xinvictory/article/details/144308298

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！