鲲鹏BoostKit搜推广场景
鲲鹏BoostKit搜推广场景旨在为互联网的搜索、推荐、广告业务场景提供基于鲲鹏平台的全栈解决方案的加速能力,组件涵盖召回场景核心检索算法、排序场景模型推理TensorFlow框架软件全栈及其AI核心算子库等。
加速特性
- 鲲鹏召回算法库
基于鲲鹏平台优化的召回算法库,由鲲鹏图检索算法KBest、鲲鹏架构深度优化向量检索算法KScaNN、鲲鹏自研向量检索加速组件KVecturbo和基于开源PForDelta算法优化的整数压缩算法KNewPfordelta组成。
- 鲲鹏推理加速套件
基于鲲鹏平台优化的推理加速套件,由鲲鹏TensorFlow算子库KTFOP和鲲鹏ONNX Runtime算子库KONNX组成。
- 鲲鹏推理AI算子库
基于鲲鹏平台优化的高性能AI算子库,主要完成深度神经网络算子库(KAIL_DNN)和拓展算子库(KAIL_DNN_EXT)的优化。
- 鲲鹏检索算子库
基于鲲鹏平台优化的用于加速向量检索的算子库,针对鲲鹏处理器的指令集架构与内存访问机制进行底层优化,使用低精度量化+高精度重排等方法有效提升召回算法的计算效率与吞吐量,同时保证算法精度,适用于高并发召回场景的性能需求。
- TensorFlow Serving线程调度优化特性
为提升TensorFlow Serving推理性能,鲲鹏BoostKit提出了TensorFlow Serving线程调度优化方案。
- TensorFlow Serving ANNC特性
基于开源OpenXLA的扩展加速套件,发布在openEuler组织的ANNC开源仓,具有鲲鹏亲和的优化特性,包括TensorFlow图融合、XLA(Accelerated Linear Algebra)图融合、算子优化。