环境配置
在进行源码编译构建前需要安装对应版本的依赖组件。
- 安装系统依赖。
1 2 3 4
dnf install -y \ --setopt=install_weak_deps=False \ --setopt=tsflags=nodocs \ python3-pip python3-devel gcc gcc-c++ make cmake git ninja-build
- 安装Python构建工具和运行依赖。
1 2
python3 -m pip install --upgrade pip setuptools wheel packaging ninja cmake pybind11 numpy einops
- 安装CUDA版本PyTorch。
- 方式一:使用官方预编译wheel
1python3 -m pip install --index-url https://download.pytorch.org/whl/cu130 torch==2.11.0+cu130
- 方式二:使用本地构建wheel,替换为实际wheel文件路径
1python3 -m pip install --force-reinstall /path/to/torch-2.11.0+cu130-*.whl
安装CUDA版本PyTorch以上两种方式二选一:可以使用PyTorch官方发布的、与CUDA版本匹配的预编译wheel,也可以使用已在当前环境验证通过的本地构建CUDA wheel。无论选择哪种来源,继续源码构建FlashAttention前都必须确认“torch.backends.cuda.is_built()”和“torch.cuda.is_available()”均为“True”。
- 方式一:使用官方预编译wheel
父主题: 开发前准备