最新动态

1

鲲鹏BoostKit搜推广场景 技术白皮书

新增鲲鹏检索算子库、KNewPfordelta和TensorFlow Serving ANNC特性。

鲲鹏BoostKit搜推广场景 技术白皮书

2

鲲鹏召回算法库文档更新

• KVecTurbo子库代码开源发布。
• 新增KNewPfordelta子库，代码开源发布。

鲲鹏BoostKit搜推广场景 鲲鹏召回算法库 特性文档

3

新增鲲鹏检索算子库

基于鲲鹏平台优化的用于加速向量检索的算子库，针对鲲鹏处理器的指令集架构与内存访问机制进行底层优化，使用低精度量化+高精度重排等方法有效提升召回算法的计算效率与吞吐量，同时保证算法精度，适用于高并发召回场景的性能需求。

鲲鹏BoostKit搜推广场景 鲲鹏检索算子库 特性文档

4

新增TensorFlow Serving ANNC特性

基于开源OpenXLA的扩展加速套件，发布在openEuler组织的ANNC开源仓，具有鲲鹏亲和的优化特性，包括TensorFlow图融合、XLA（Accelerated Linear Algebra）图融合、算子优化。

鲲鹏BoostKit搜推广场景 TensorFlow Serving ANNC 特性文档

5

变更解决方案名称

“鲲鹏BoostKit搜推广使能套件”修改为“鲲鹏BoostKit搜推广场景”。

覆盖鲲鹏BoostKit搜推广场景全部文档。

1

鲲鹏BoostKit搜推广使能套件 技术白皮书

刷新KScaNN、KBest等指标和对接向量数据库特性，增加TensorFlow Serving线程调度优化特性。

鲲鹏BoostKit搜推广使能套件 技术白皮书

2

鲲鹏召回算法库文档更新

• KBest库新增SetEarlyStoppingParams接口，Add接口和构造函数KBest。
• KScaNN库新增对接Milvus使用。

鲲鹏BoostKit搜推广使能套件 鲲鹏召回算法库 特性文档

3

鲲鹏推理加速套件文档更新

新增鲲鹏自研的高效的ONNX Runtime算子库KONNX（Kunpeng ONNX Runtime，鲲鹏ONNX Runtime算子库）。

鲲鹏BoostKit搜推广使能套件 鲲鹏推理加速套件 特性文档

4

鲲鹏推理AI算子库文档更新

• KAIL_DNN新增Pool、Batch Normalization、Local Response Normalization、Reduction、PReLU、Binary、RNN深度神经网络算子的鲲鹏平台支持。
• KAIL_DNN新增支持鲲鹏920 72F8处理器。

鲲鹏BoostKit搜推广使能套件 鲲鹏推理AI算子库 特性文档

5

新增TensorFlow Serving线程调度优化特性

为提升TensorFlow Serving（以下简称TF Serving）推理性能，鲲鹏BoostKit提出了TensorFlow Serving线程调度优化方案。

鲲鹏BoostKit搜推广使能套件 TensorFlow Serving线程调度优化 特性文档

6

新增ONNX Runtime移植指南

基于鲲鹏920系列处理器，介绍了在openEuler 22.03 LTS SP3操作系统中安装、编译和验证ONNX Runtime 1.19.2的操作步骤。

ONNX Runtime 移植指南

1

鲲鹏召回算法库文档更新

• KBest库新增SaveGraph/LoadGraph接口、Serialize/Deserialize接口、BuildSearcher及GetNTotal和GetDim接口，并且修改Add、Save和Load接口，目前已对接Milvus使用。
• 鲲鹏召回算法库新增鲲鹏自研的向量检索加速组件KVecturbo，对接openGauss向量数据库使用。

鲲鹏BoostKit搜推广使能套件 鲲鹏召回算法库 特性文档

2

新增TVM移植指南

基于鲲鹏处理器，介绍了在openEuler 22.03 LTS SP3操作系统中编译安装TVM 0.9.0并优化性能的操作步骤。

TVM 移植指南

3

新增搜推排序模型推理Benchmark测试指导

基于鲲鹏处理器，介绍了在openEuler 22.03 LTS SP3操作系统上部署ModelZoo搜推排序模型推理阶段测试的全流程，包括服务端与客户端的测试环境搭建以及进行推理阶段性能测试的操作步骤。

搜推排序模型推理Benchmark 测试指导

4

新增鲲鹏BoostKit搜推广使能套件 技术白皮书

介绍鲲鹏BoostKit搜推广使能套件方案，方案架构以及相关技术特性的规格，应用场景和典型配置。

鲲鹏BoostKit搜推广使能套件 技术白皮书

1

新增鲲鹏召回算法库

• 新增鲲鹏自研的高效的图检索算法KBest。
• 增基于鲲鹏架构深度优化索引布局和算法流程，鲲鹏亲和的自研算法体系KScaNN。

鲲鹏BoostKit搜推广使能套件 鲲鹏召回算法库 特性文档

2

新增鲲鹏推理加速套件

新增鲲鹏推理加速库套件（SRA_Inference）版本说明书和开发指南文档，提供了SRA_Inference版本配套说明、安装指南、接口说明与示例代码，旨在帮助用户快速熟悉SRA_Inference的使用。

鲲鹏BoostKit搜推广使能套件 鲲鹏推理加速套件 特性文档

3

新增鲲鹏推理AI算子库

• 新增深度神经网络算子的鲲鹏平台支持。
• 新增random_choice、softmax算子的鲲鹏平台支持。

鲲鹏BoostKit搜推广使能套件 鲲鹏推理AI算子库 特性文档

4

新增TensorFlow Serving推理部署 测试指导

基于鲲鹏处理器，介绍了在openEuler 22.03 LTS SP3操作系统中迁移推理部署框架TensorFlow Serving，并部署测试模型进行压力测试。

TensorFlow Serving推理部署 测试指导

1

新增移植指南文档

新增搜推模型DLRM（Deep Learning Recommendation Model）移植指南，基于鲲鹏处理器提供DLRM模型训练和运行验证指导。

DLRM 移植指南

1

新增开源组件适配移植指南文档

新增oneDNN、PyTorch、TensorFlow和ScaNN四本开源组件移植指南，基于鲲鹏处理器提供以上四种组件的安装、配置和验证指导。

• oneDNN 移植指南
• PyTorch 移植指南
• TensorFlow 移植指南
• ScaNN 移植指南