安装与验证

• 方式一：使用Python包索引中的vLLM 0.18.1源码包或可用wheel安装。

  1 2 3 4 5 6 7 8 9 10

  export CUDA_HOME=/usr/local/cuda-13.0 export PATH=$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH=$CUDA_HOME/lib64:${LD_LIBRARY_PATH:-} export VLLM_TARGET_DEVICE=cuda export TORCH_CUDA_ARCH_LIST="8.0" export CMAKE_CUDA_ARCHITECTURES=80 export MAX_JOBS=8 export NVCC_THREADS=1 export CMAKE_BUILD_PARALLEL_LEVEL=8 python3 -m pip install vllm==0.18.1

• 方式二：使用已在当前环境构建完成的本地vLLM wheel安装，请将示例路径替换为实际wheel文件路径。

  1	python3 -m pip install --force-reinstall --no-deps /path/to/vllm-0.18.1+cu130-*.whl

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

python3 - <<'PY'
import vllm 
import torch  

print("vllm_version=" + vllm.__version__) 
print("torch_version=" + torch.__version__) 
print("torch_cuda=" + str(torch.version.cuda)) 
print("cuda_built=" + str(torch.backends.cuda.is_built())) 
print("cuda_available=" + str(torch.cuda.is_available())) 
assert vllm.__version__ == "0.18.1"
assert torch.backends.cuda.is_built() 
assert torch.cuda.is_available() 
PY

预期输出如下信息。

1
2
3
4

vllm_version=0.18.1 
torch_cuda=13.0 
cuda_built=True 
cuda_available=True