环境要求
本文档以openEuler 24.03 LTS SP3 + vLLM 0.18.1 + CUDA 13.0环境为例进行GPU路径安装验证。除此之外,本节介绍了鲲鹏服务器上安装vLLM可支持的其他环境信息。
可支持的版本
OS版本 |
Python版本 |
支持的vLLM版本范围 |
|---|---|---|
openEuler 24.03 LTS SP3 |
Python 3.11.6 |
vLLM 0.18.1 |
openEuler 22.03 LTS SP4 |
Python 3.9.9 |
vLLM <=0.11.x;建议vLLM 0.11.0 |
vLLM 0.18.x面向较新的Python版本。openEuler 22.03 LTS SP4默认Python 3.9.9 不适合作为vLLM 0.18.x的默认构建环境,建议使用官方仍支持Python 3.9的vLLM 0.11.0。
依赖组件要求
组件 |
版本 |
|---|---|
python3 |
3.11.6-20.oe2403sp3 |
python3-pip |
23.3.1-7.oe2403sp3 |
python3-devel |
3.11.6-20.oe2403sp3 |
pip |
26.1.1 |
PyTorch |
2.11.0 CUDA版本 |
CUDA Toolkit |
13.0 |
vLLM |
0.18.1 |
使用GPU能力时,系统需要提供可访问的NVIDIA GPU设备、CUDA Toolkit以及匹配的NVIDIA驱动用户态库。
父主题: 安装前准备