BoostAI Infra套件

介绍BoostAI Infra套件文档的最新上线、变更动态。

提供开源软件Dify的版本兼容性验证、源码安装和编译构建指南。

提供开源软件FlashAttention的软件安装验证、源码编译构建指南。

提供开源软件LangChain的基础兼容性验证和源码编译构建指南。

提供开源软件LlamaIndex的软件安装验证、源码编译构建指南。

提供开源软件NumPy的软件安装验证、源码编译构建指南。

提供开源软件Ollama的软件安装验证、源码编译构建指南。

提供开源软件OpenClaw的软件安装验证、源码编译构建指南。

提供开源软件Paddle Inference的软件安装、基础验证和源码编译构建指南。

提供开源软件PaddlePaddle的软件安装、基础验证和源码编译构建指南。

提供开源软件PyTorch的软件安装、基础功能验证和源码编译构建指南。

提供开源软件Safetensors的软件安装、基础功能验证和源码编译构建指南。

提供开源软件SGLang的软件安装验证、源码编译构建指南。

提供开源软件TensorFlow的软件安装、基础验证和源码编译构建指南。

提供开源软件Tokenizers的软件安装验证、源码编译构建指南。

提供开源软件Transformers的软件安装验证、源码编译构建指南。

提供开源软件vLLM的版本兼容性验证、基础安装验证和源码编译构建指南。

CMF是基于鲲鹏硬件平台开发的缓存控制框架，由内核态驱动与命令行工具组成，通过变更硬件寄存器的值影响系统中L2 Cache等资源的分配。

核动态隔离是一种用于在同时执行智算任务和通算任务的服务器上，减少不同任务之间资源抢占，降低智算任务的数据准备、算子下发等任务的时延抖动的调优方案。

vLLM-Router是鲲鹏参与vLLM开源社区的路由插件，旨在支持数据并行部署，提供高性能的请求路由与负载均衡能力。

基于开源社区版的vLLM及沐曦版vLLM-metax，提供针对鲲鹏平台的优化补丁。

介绍鲲鹏920处理器+Atlas 800I A2推理服务器环境下部署vLLM、vLLM-Ascend和MindIE Turbo框架的操作步骤，包括DeepSeek 70B模型的运行和调优方法。

介绍鲲鹏920 5250处理器+Atlas 300I Duo推理卡环境下部署DeepSeek 70B模型，并对其进行性能调优的操作步骤。