最新动态

1

产品名称修改

“鲲鹏BoostKit AI使能套件”修改为“鲲鹏BoostKit BoostAI Infra套件”。

覆盖鲲鹏BoostKit BoostAI Infra套件文档架构。

2

文档结构调整

新增以下文档分类：

• 开源使能：提供上游社区的开源软件使能文档。
• 加速特性：提供底层的加速套件特性和基于开源优化的补丁使能文档。
• 调优指南：提供硬件/软件的调优配置文档。

3

新增vLLM-ops文档

• 面向鲲鹏920新型号处理器作为机头并搭载沐曦曦云C500 GPU，基于社区版vLLM 0.11.0及沐曦版vLLM-metax 0.11.0-dev进行性能优化。
• 提供优化补丁介绍、接口说明和补丁使能文档。

鲲鹏BoostKit BoostAI Infra套件 vLLM-ops 文档

4

新增核隔离文档

核动态隔离可以根据当前的硬件拓扑结构和任务配置，自动为进程和线程分配CPU亲和资源，实现高效的亲和调度。新增用户指南提供核动态隔离使能方法与步骤。

鲲鹏BoostKit BoostAI Infra套件 核隔离 文档

5

开源使能新增文档

生态使能中新增16款AI软件的开发指南和安装指南文档。

• 开发指南：介绍鲲鹏服务器上开源AI软件的开发指南，包含源码构建、安装和开发验证场景。
• 安装指南：介绍鲲鹏服务器上开源AI软件的安装以及基础兼容性、功能的验证。

• Dify
• FlashAttention
• LangChain
• LlamaIndex
• NumPy
• Ollama
• OpenClaw
• Paddle Inference
• PaddlePaddle
• PyTorch
• Safetensors
• SGLang
• TensorFlow
• Tokenizers
• Transformers
• vLLM

1

CMF缓存管理框架迁移至GitCode开源平台

通过GitCode开源平台提供开源软件包、文档。

鲲鹏BoostKit BoostAI Infra套件 CMF 文档

2

新增数据并行路由插件vLLM-Router

• 通过GitCode开源平台提供开源软件包、文档。
• 基于vLLM开源社区的路由插件，旨在支持数据并行部署，提供高性能的请求路由与负载均衡能力。

鲲鹏BoostKit BoostAI Infra套件 vLLM-Router 文档

1

新增CMF缓存管理框架

CMF是基于鲲鹏硬件平台开发的缓存控制框架，由内核态驱动与命令行工具组成，通过变更硬件寄存器的值影响系统中L2 cache等资源的分配。

鲲鹏BoostKit BoostAI Infra套件 CMF 文档

1

更新DeepSeek 70B推理模型 调优指南（鲲鹏920处理器+Atlas 800I A2推理服务器）

更新MindIE Turbo版本为2.0.RC2；增加模型量化性能调优方法。

DeepSeek 70B推理模型 调优指南（鲲鹏920处理器+Atlas 800I A2推理服务器）

1

新增DeepSeek 70B推理模型 调优指南（鲲鹏920处理器+Atlas 800I A2推理服务器）

介绍在鲲鹏920处理器+Atlas 800I A2推理服务器上部署vLLM、vLLM-Ascend和MindIE Turbo框架的操作步骤，包括DeepSeek 70B模型的运行和调优方法。

DeepSeek 70B推理模型 调优指南（鲲鹏920处理器+Atlas 800I A2推理服务器）

2

新增DeepSeek 70B推理模型 调优指南（鲲鹏920处理器+Atlas 300I Duo推理卡）

介绍在鲲鹏920处理器+Atlas 300I Duo推理卡环境下部署DeepSeek 70B模型，并对其进行性能调优的操作步骤。

DeepSeek 70B推理模型 调优指南（鲲鹏920处理器+Atlas 300I Duo推理卡）