开发者
资源
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

环境要求

本文档以openEuler 24.03 LTS SP3 + vLLM 0.18.1 + CUDA 13.0环境为例进行GPU路径安装验证。除此之外,本节介绍了鲲鹏服务器上安装vLLM可支持的其他环境信息。

可支持的版本

表1 版本范围

OS版本

Python版本

支持的vLLM版本范围

openEuler 24.03 LTS SP3

Python 3.11.6

vLLM 0.18.1

openEuler 22.03 LTS SP4

Python 3.9.9

vLLM <=0.11.x;建议vLLM 0.11.0

vLLM 0.18.x面向较新的Python版本。openEuler 22.03 LTS SP4默认Python 3.9.9 不适合作为vLLM 0.18.x的默认构建环境,建议使用官方仍支持Python 3.9的vLLM 0.11.0。

依赖组件要求

表2 依赖组件要求对应的版本

组件

版本

python3

3.11.6-20.oe2403sp3

python3-pip

23.3.1-7.oe2403sp3

python3-devel

3.11.6-20.oe2403sp3

pip

26.1.1

PyTorch

2.11.0 CUDA版本

CUDA Toolkit

13.0

vLLM

0.18.1

使用GPU能力时,系统需要提供可访问的NVIDIA GPU设备、CUDA Toolkit以及匹配的NVIDIA驱动用户态库。