环境配置
在进行源码编译构建前需要安装对应版本的依赖组件。
- 安装系统依赖。
1 2 3 4
dnf install -y \ --setopt=install_weak_deps=False \ --setopt=tsflags=nodocs \ python3-pip python3-devel gcc gcc-c++ make cmake git ninja-build openblas-devel numactl-devel rust cargo
- 安装Python构建工具。
1python3 -m pip install --upgrade pip setuptools wheel packaging ninja cmake pybind11 scikit-build-core
- 安装CUDA版本的PyTorch。
- 方式一:使用官方预编译wheel。
1python3 -m pip install --index-url https://download.pytorch.org/whl/cu130 torch==2.11.0+cu130
- 方式二:使用本地构建wheel,替换为实际wheel文件路径。
1python3 -m pip install --force-reinstall /path/to/torch-2.11.0+cu130-*.whl
- 安装CUDA版本PyTorch以上两种方式二选一:可以使用PyTorch官方发布的、与CUDA版本匹配的预编译wheel,也可以使用已在当前环境验证通过的本地构建CUDA wheel。无论选择哪种来源,继续源码构建SGLang前都必须确认torch.backends.cuda.is_built()和torch.cuda.is_available()均为True。
- SGLang源码包含两个相互配合的构建对象:“python”目录生成SGLang主Python包,提供运行时框架、接口和调度逻辑;“sgl-kernel”目录生成CUDA扩展包,提供GPU推理相关的高性能算子能力。面向GPU场景进行源码构建时,应同时构建并安装这两个wheel。
- 方式一:使用官方预编译wheel。
父主题: 开发前准备