BoostSRA搜推广套件

从这里开始

• 最新动态

  介绍鲲鹏BoostKit BoostSRA搜推广套件文档的最新上线、变更动态。

鲲鹏召回算法库

基于鲲鹏平台优化的召回算法库，通过针对鲲鹏处理器的指令集架构与内存访问机制进行底层优化，有效提升了召回算法的计算效率与吞吐量，尤其适用于高并发召回场景。

• 鲲鹏召回图检索算法KBest

  鲲鹏自主创新的高效的图检索算法，提供对标开源Faiss HNSW算法的检索能力。

• 鲲鹏召回向量检索算法KScaNN

  基于倒排索引，结合鲲鹏架构深度优化索引布局、算法流程和计算流程，充分挖掘芯片潜力形成的向量检索算法。

• 鲲鹏向量检索加速组件KVecTurbo

  鲲鹏自主创新的向量检索加速组件，通过将高维向量量化压缩，快速获取query的近邻，同时使用SIMD指令集加速距离计算，用于多维向量最近邻搜索。可对接openGauss向量数据库使用。

• 鲲鹏倒排解压缩算法KNewPfordelta

  鲲鹏基于开源PForDelta算法优化的一种专为高效压缩与快速解压倒排索引设计的整数压缩算法。

• 鲲鹏hnswlib

  基于开源hnswlib（Hierarchical Navigable Small World），引入FP16数据类型支持，并针对鲲鹏ARM平台进行深度优化。

• 鲲鹏向量检索引擎Faiss

  基于开源Faiss算法库，通过向量化、维度交织查表累加及向量过滤压缩等方法，对IVFFlat、IVFPQ、HNSW、PQFS及IVFPQFS等索引做优化，提升相似性搜索与聚类方面的性能，HNSW索引类型新增FP16支持。

• 鲲鹏RaBitQ

  基于开源RaBitQ代码做侵入式修改，将其扩展至ARM64（AArch64）架构，引入FP16精度优化、NEON SIMD向量化、汇编级LUT加速、SOAR溢出向量分配、ML自适应nprobe等多项性能优化和功能增强。

• 鲲鹏DiskANN

  基于开源DiskANN算法库，通过NEON SIMD向量化、数据布局优化（邻接表驻留内存）、异步IO流水化、精排队列缩减等优化提升了磁盘检索性能。

• Embedding Lookup

  对开源Monolith大规模实时推荐系统核心Embedding Lookup模块开展深度适配与性能优化，通过编译选项调优、自旋锁优化、内存对齐优化及ARM SIMD向量化改造等关键技术，降低模块查表延迟，提升鲲鹏ARM平台在线推理性能。

鲲鹏检索算子库

• 鲲鹏检索算子库KRL

  基于鲲鹏平台优化的用于加速向量检索的算子库，KRL可通过替换算子的形式对Faiss原生的HNSW、PQFS、IVFPQ和IVFPQFS等算法进行加速。

鲲鹏推理加速套件

• 鲲鹏推理加速套件SRA_Inference

  基于鲲鹏平台优化的推理加速套件，由鲲鹏TensorFlow算子库KTFOP和鲲鹏ONNX Runtime算子库KONNX组成。

TensorFlow推理优化

• TensorFlow推理优化

  基于开源TensorFlow的高性能推理加速扩展，聚焦于搜推广推理场景下的高效执行。在图优化、算子、Runtime等方面进行了深度的性能增强，显著提升了模型推理的吞吐量并降低了时延，为AI应用提供基于鲲鹏CPU的极致性能。

• 鲲鹏TensorRT-LLM

  基于开源的TensorRT-LLM，聚焦于大模型推理场景下的高效执行。通过算子优化、访存优化、参数配置等进行了深度的性能增强，提升了模型推理的吞吐量和时延表现。