实战千问2大模型第五天——VLLM 运行 Qwen2-VL-7B（多模态）
一、简介
VLLM 是一种高效的深度学习推理库，通过PagedAttention算法有效管理大语言模型的注意力内存，其特点包括24倍的吞吐提升和3.5倍的TGI性能，无需修改模型结构，专门设计用于加速大规模语言模型（LLM）的推理过程。它通过优化显存管理、支持大模型的批处理推理以及减少不必要的内存占用，来提高多 GPU 环境下的推理速度和效率。
VLLM 的核心特点包括：
- 显存高效性：VLLM 能够动态管理显存，支持在有限的显存资源下运行大规模语言模型。
- 并行化推理：它可以在多个 GPU 上分配任务，实现多线程并行处理，以提高推理速度。
- 模型优化：通过优化 GPU 和 CPU 之间的数据传输，使得推理时间大幅缩短。
- 低延迟：VLLM 专注于减少推理时的延迟，使其在实时应用中表现出色。
这使得 VLLM 非常适合需要快速、大规模推理的任务，例如在生产环境中部署大语言模型进行实时文本生成或问答等应用。
二、安装环境
https://github.com/vllm-project/vllm
pip install -U vllm
pip install -U --force git+https://github.com/huggingface/transformers
pip install qwen-vl-utils三、测试
准备1.jpg和下面脚本即可运行测试。
from PIL import Image
from transformers import AutoProcessor
from vllm import LLM, SamplingParams
from qwen_vl_utils import process_vision_info
MODEL_PATH = 'qwen/Qwen2-VL-7B-Instruct'
IMAGE_PATH = '1.jpg'
VIDEO_PATH = '/path/to/video.mp4'
llm = LLM(
model=MODEL_PATH,
limit_mm_per_prompt={'image': 10, 'video': 10},
)
sampling_params = SamplingParams(
temperature=0.1, top_p=0.001, repetition_penalty=1.05, max_tokens=256,
stop_token_ids=[],
)
messages = [
{'role': 'system', 'content': 'You are a helpful assistant.'},
{'role': 'user', 'content': [
{
'type': 'image',
'image': IMAGE_PATH,
# min_pixels & max_pixels are optional
'max_pixels': 12845056,
},
# You can also pass one or more videos:
# {
# 'type': 'video',
# 'video': VIDEO_PATH,
# }
{
'type': 'text',
'text': 'What does this diagram illustrate?',
},
]},
]
processor = AutoProcessor.from_pretrained(MODEL_PATH)
prompt = processor.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True,
)
image_inputs, video_inputs = process_vision_info(messages)
mm_data = {}
if image_inputs is not None:
mm_data['image'] = image_inputs
if video_inputs is not None:
mm_data['video'] = video_inputs
llm_inputs = {
'prompt': prompt,
'multi_modal_data': mm_data,
}
outputs = llm.generate([llm_inputs], sampling_params=sampling_params)
generated_text = outputs[0].outputs[0].text
print(generated_text)
原文地址：https://blog.csdn.net/qq_34717531/article/details/142789606
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！