介绍

本文主要向用户介绍鲲鹏服务器上FlashAttention软件的安装和验证方法。

FlashAttention是面向Transformer注意力计算的CUDA加速库，在保持精度完全等价的前提下显著加速了模型训练与推理。在鲲鹏服务器上部署大模型时，其异构生态中的昇腾AI加速器已通过CANN异构计算架构原生支持并深度优化了FlashAttention融合算子。