---
title: 方案架构
description: "鲲鹏BoostKit搜推广组件对应位置如图1所示。鲲鹏BoostKit搜推广使能套件中每个组件的加速方案和修改策略不同，一般不会修改原有基础软件的系统架构，但修改策略会按照实际需要采用不同方案。组件说明如表1所示。"
url: https://www.hikunpeng.com/document/detail/zh/SRA/twp/kunpengsra_19_0002.html
sourcePath: /source/zh/SRA/twp/kunpengsra_19_0002.html
indexId: d4714c08d6b84990e34f97e3ac8e4c67347be5cb45667c6d6c33ac44abcb853b42
---
# 方案架构

鲲鹏BoostKit搜推广组件对应位置如图1所示。鲲鹏BoostKit搜推广使能套件中每个组件的加速方案和修改策略不同，一般不会修改原有基础软件的系统架构，但修改策略会按照实际需要采用不同方案。组件说明如表1所示。

图1 鲲鹏BoostKit搜推广使能套件架构图


**表1 鲲鹏BoostKit搜推广使能套件组件说明**

| 算法类型 | 组件 | 说明 |
| --- | --- | --- |
| 召回算法 | KScaNN | KScaNN（Kunpeng Scalable Nearest Neighbors）是基于倒排索引，结合鲲鹏架构深度优化索引布局、算法流程和计算流程，充分挖掘芯片潜力形成的向量检索算法。 |
| 召回算法 | KBest | KBest（Kunpeng Blazing\-fast embedding similarity search thruster）鲲鹏图检索算法，是鲲鹏自研的高效的图检索算法。通过量化、NUMA访存调度等方法优化了最近邻搜索的性能和精度，用于多维向量近似最近邻搜索。 |
| 召回算法 | KVecTurbo | KVecTurbo（Kunpeng Vector Turbo）是鲲鹏自研的向量检索加速组件，可对接openGauss向量数据库使用。KVecTurbo通过将高维向量量化压缩，快速获取query的近邻，同时使用SIMD指令集加速距离计算，用于多维向量最近邻搜索。 |
| 召回算法 | KRL | KRL（Kunpeng Retrieval Library ）鲲鹏检索算子库是基于鲲鹏平台优化的用于加速向量检索的算子库。KRL可通过替换算子的形式对Faiss原生的HNSW、PQFS、IVFPQ和IVFPQFS等算法进行加速，新增SVE2算子接口。 |
| 召回算法 | KNewPfordelta | KNewPfordelta （Kunpeng New PForDelta ）鲲鹏New PForDelta算法，是鲲鹏构建的高效的召回倒排解压缩算法，通过向量指令等方法优化了倒排解压缩的性能。 |
| 召回算法 | hnswlib | 基于开源hnswlib算法库，针对鲲鹏平台进行了深度优化，通过向量化技术实现FP16高效检索，并应用预取与指令重排等优化策略。 |
| 召回算法 | Faiss | 对开源Faiss算法库进行了深度优化，通过向量化、维度交织查表累加及向量过滤压缩等关键技术，提升了IVFFlat、IVFPQ、HNSW、PQFS及IVFPQFS多种索引的相似性搜索与聚类效率，HNSW索引类型新增FP16支持。 |
| 召回算法 | DiskANN | 基于开源DiskANN算法库，通过NEON SIMD向量化、数据布局优化（邻接表驻留内存）、异步IO流水化、精排队列缩减等优化提升了磁盘检索性能。 |
| 召回算法 | RaBitQ | 基于开源RaBitQ代码，针对鲲鹏平台使能FP16精度优化、LUT加速、SOAR溢出向量分配、ML自适应nprobe等优化特性，提升检索性能。 |
| 召回算法 | Embedding Lookup | 对开源Monolith大规模实时推荐系统核心Embedding Lookup模块开展深度适配与性能优化，通过编译选项调优、自旋锁优化、内存对齐优化及ARM SIMD向量化改造等关键技术，降低模块查表延迟，提升鲲鹏ARM平台在线推理性能。 |
| 排序推理 | KDNN | KDNN（Deep Neural Network Library）深度神经网络算子库，结合鲲鹏处理器微架构特性与软优化手段，优化AI算子性能。该算子库以插件形式集成至开源软件oneDNN，同时支持对接Tensorflow Matmul、softmax等算子。 |
| 排序推理 | KDNN\_EXT | KDNN\_EXT（Deep Neural Network Extension Library）深度神经网络算子扩展库，深度优化softmax、random\_choice等算子，封装为Python语言接口提供给用户调用。 |
| 排序推理 | TensorRT\-LLM | 基于开源的TensorRT\-LLM，聚焦于大模型推理场景下的高效执行。通过算子优化、访存优化、参数配置等进行了深度的性能增强，提升了模型推理的吞吐量和时延表现。 |
| 排序推理 | TensorFlow | 鲲鹏TensorFlow是基于开源TensorFlow的高性能推理加速扩展，聚焦于搜推广推理场景下的高效执行。通过在图优化、算子、Runtime等方面进行了深度的性能增强，提升了模型推理的吞吐量和时延表现。 |
| 排序推理 | KTFOP | KTFOP（Kunpeng TensorFlow Operator）鲲鹏TensorFlow算子库，是鲲鹏自研的高效的TensorFlow算子库。通过SIMD（Single Instruction Multiple Data）指令、多核调度等方法，提高CPU侧算子性能，减少CPU侧计算资源的占用，从而提高在线推理端到端整体的吞吐量。 |
| 排序推理 | ANNC | TensorFlow图编译优化特性通过使能加速神经网络计算编译器ANNC（Accelerated Neural Network Compiler），实现推荐推理性能加速。ANNC提供了计算图优化，高性能融合算子生成与对接等优化技术。 |