--- title: BoostAI Infra套件 description: "鲲鹏BoostKit BoostAI Infra套件旨在为大模型推理、AI应用开发与开源软件生态场景提供基于鲲鹏平台的应用层使能能力，组件涵盖缓存管理、数据并行路由、开源软件迁移适配与推理模型性能调优。" url: https://www.hikunpeng.com/document/detail/zh/kunpengai/overview/kunpengai.html sourcePath: /source/zh/kunpengai/overview/kunpengai.html indexId: 9d1bbd53f298c80e8d23f961f24c991914be319ae7b1bdbedfcc056ee9de5d9a44 --- # BoostAI Infra套件 鲲鹏BoostKit BoostAI Infra套件旨在为大模型推理、AI应用开发与开源软件生态场景提供基于鲲鹏平台的应用层使能能力，组件涵盖缓存管理、数据并行路由、开源软件迁移适配与推理模型性能调优。 #### 从这里开始 - 最新动态(https://www.hikunpeng.com/document/detail/zh/SRA/wtsnew/index.html) 介绍BoostAI Infra套件文档的最新上线、变更动态。 #### 开源使能 - Dify(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/dify/kunpengdify_16_0001.html) 提供开源软件Dify的版本兼容性验证、源码安装和编译构建指南。 - FlashAttention(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/flashattention/kunpengflashattention_16_0001.html) 提供开源软件FlashAttention的软件安装验证、源码编译构建指南。 - LangChain(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/langchain/kunpenglangchain_16_0001.html) 提供开源软件LangChain的基础兼容性验证和源码编译构建指南。 - LlamaIndex(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/llamaIndex/kunpengllamaIndex_16_0001.html) 提供开源软件LlamaIndex的软件安装验证、源码编译构建指南。 - NumPy(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/numPy/kunpengnumpy_16_0001.html) 提供开源软件NumPy的软件安装验证、源码编译构建指南。 - Ollama(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/ollama/kunpengollama_16_0001.html) 提供开源软件Ollama的软件安装验证、源码编译构建指南。 - OpenClaw(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/openclaw/kunpengopenclaw_16_0001.html) 提供开源软件OpenClaw的软件安装验证、源码编译构建指南。 - Paddle Inference(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/paddleInference/kunpengpaddleinference_16_0001.html) 提供开源软件Paddle Inference的软件安装、基础验证和源码编译构建指南。 - PaddlePaddle(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/paddlepaddle/kunpengpaddlepaddle_16_0001.html) 提供开源软件PaddlePaddle的软件安装、基础验证和源码编译构建指南。 - PyTorch(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/pytorch/kunpengpytorch_16_0001.html) 提供开源软件PyTorch的软件安装、基础功能验证和源码编译构建指南。 - Safetensors(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/safetensors/kunpengsafetensors_16_0001.html) 提供开源软件Safetensors的软件安装、基础功能验证和源码编译构建指南。 - SGLang(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/sglang/kunpengsglang_16_0001.html) 提供开源软件SGLang的软件安装验证、源码编译构建指南。 - TensorFlow(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/tensorFlow/kunpengtensorflow_16_0001.html) 提供开源软件TensorFlow的软件安装、基础验证和源码编译构建指南。 - Tokenizers(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/tokenizers/kunpengtokenizers_16_0001.html) 提供开源软件Tokenizers的软件安装验证、源码编译构建指南。 - Transformers(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/transformers/kunpengtransformers_16_0001.html) 提供开源软件Transformers的软件安装验证、源码编译构建指南。 - vLLM(https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/vllm/kunpengvllm_16_0001.html) 提供开源软件vLLM的版本兼容性验证、基础安装验证和源码编译构建指南。 #### 加速特性 - CMF缓存管理框架(https://www.hikunpeng.com/document/detail/zh/kunpengai/appAccelFeatures/cmf/README.md) CMF是基于鲲鹏硬件平台开发的缓存控制框架，由内核态驱动与命令行工具组成，通过变更硬件寄存器的值影响系统中L2 Cache等资源的分配。 - 核隔离(https://www.hikunpeng.com/document/detail/zh/kunpengai/appAccelFeatures/coreIsolation/kunpengai_core_06_0001.html) 核动态隔离是一种用于在同时执行智算任务和通算任务的服务器上，减少不同任务之间资源抢占，降低智算任务的数据准备、算子下发等任务的时延抖动的调优方案。 - vLLM-Router数据并行路由插件(https://www.hikunpeng.com/document/detail/zh/kunpengai/appAccelFeatures/vllm_router/README.md) vLLM-Router是鲲鹏参与vLLM开源社区的路由插件，旨在支持数据并行部署，提供高性能的请求路由与负载均衡能力。 - vLLM-ops(https://www.hikunpeng.com/document/detail/zh/kunpengai/appAccelFeatures/vllm_ops/README.md) 基于开源社区版的vLLM及沐曦版vLLM-metax，提供针对鲲鹏平台的优化补丁。 #### 调优指南 - 鲲鹏920处理器+Atlas 800I A2推理服务器环境(https://www.hikunpeng.com/document/detail/zh/kunpengai/tuningguide/imog_a800ia2/kunpengai_800i_05_0001.html) 介绍鲲鹏920处理器+Atlas 800I A2推理服务器环境下部署vLLM、vLLM-Ascend和MindIE Turbo框架的操作步骤，包括DeepSeek 70B模型的运行和调优方法。 - 鲲鹏920处理器+Atlas 300I Duo推理卡环境(https://www.hikunpeng.com/document/detail/zh/kunpengai/tuningguide/imog_a300iduo/kunpengai_300i_05_0002.html) 介绍鲲鹏920 5250处理器+Atlas 300I Duo推理卡环境下部署DeepSeek 70B模型，并对其进行性能调优的操作步骤。