开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

BoostSRA 搜推广套件

鲲鹏BoostKit BoostSRA 搜推广套件旨在为互联网搜索、推荐、广告业务场景提供基于鲲鹏平台的应用层加速能力,组件涵盖召回场景核心检索算法、排序场景模型推理软件框架优化。

从这里开始

  • 最新动态

    介绍鲲鹏BoostKit BoostSRA 搜推广套件文档的最新上线、变更动态。

鲲鹏召回算法库

基于鲲鹏平台优化的召回算法库,通过针对鲲鹏处理器的指令集架构与内存访问机制进行底层优化,有效提升了召回算法的计算效率与吞吐量,尤其适用于高并发召回场景。

  • 鲲鹏召回图检索算法KBest

    鲲鹏自研的高效的图检索算法,提供对标开源Faiss HNSW算法的检索能力。

  • 鲲鹏召回向量检索算法KScaNN

    基于倒排索引,结合鲲鹏架构深度优化索引布局、算法流程和计算流程,充分挖掘芯片潜力形成的向量检索算法。

  • 鲲鹏向量检索加速组件KVecTurbo

    鲲鹏自研的向量检索加速组件,通过将高维向量量化压缩,快速获取query的近邻,同时使用SIMD指令集加速距离计算,用于多维向量最近邻搜索。可对接openGauss向量数据库使用。

  • 鲲鹏倒排解压缩算法KNewPfordelta

    鲲鹏基于开源PForDelta算法优化的一种专为高效压缩与快速解压倒排索引设计的整数压缩算法。

  • 鲲鹏hnswlib

    基于开源hnswlib(Hierarchical Navigable Small World),引入FP16数据类型支持,并针对鲲鹏ARM平台进行深度优化。

  • 鲲鹏向量检索引擎Faiss

    优化计算效率与内存占用,对原生Faiss进行适配改造,增加FP16接口,使其在鲲鹏ARM架构下同样支持基于FP16的高效召回计算。

  • 鲲鹏RaBitQ

    基于开源RaBitQ代码做侵入式修改,将其扩展至ARM64(AArch64)架构,引入FP16精度优化、NEON SIMD向量化、汇编级LUT加速、SOAR溢出向量分配、ML自适应nprobe等多项性能优化和功能增强。

鲲鹏检索算子库

  • 鲲鹏检索算子库KRL

    基于鲲鹏平台优化的用于加速向量检索的算子库,KRL可通过替换算子的形式对faiss原生的HNSW、PQFS、IVFPQ和IVFPQFS等算法进行加速。

鲲鹏AI算子库

  • 鲲鹏AI算子库KAIL

    基于鲲鹏平台优化的高性能AI算子库,主要完成深度神经网络算子库(KDNN)和扩展算子库(KDNN_EXT)的优化。

鲲鹏推理加速套件

TensorFlow推理优化

  • TensorFlow推理优化

    基于开源TensorFlow的高性能推理加速扩展,聚焦于搜推广推理场景下的高效执行。通过在图优化、算子、Runtime等方面进行了深度的性能增强,显著提升了模型推理的吞吐量和时延表现,为AI应用提供基于鲲鹏CPU的极致性能。