一、简介

VLLM 是一种高效的深度学习推理库，通过PagedAttention算法有效管理大语言模型的注意力内存，其特点包括24倍的吞吐提升和3.5倍的TGI性能，无需修改模型结构，专门设计用于加速大规模语言模型（LLM）的推理过程。它通过优化显存管理、支持大模型的批处理推理以及减少不必要的内存占用，来提高多 GPU 环境下的推理速度和效率。

VLLM 的核心特点包括：

1. 显存高效性：VLLM 能够动态管理显存，支持在有限的显存资源下运行大规模语言模型。
2. 并行化推理：它可以在多个 GPU 上分配任务，实现多线程并行处理，以提高推理速度。
3. 模型优化：通过优化 GPU 和 CPU 之间的数据传输，使得推理时间大幅缩短。
4. 低延迟：VLLM 专注于减少推理时的延迟，使其在实时应用中表现出色。

这使得 VLLM 非常适合需要快速、大规模推理的任务，例如在生产环境中部署大语言模型进行实时文本生成或问答等应用。

二、安装环境

https://gith