鲲鹏社区首页
中文
注册
开发者
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

鲲鹏BoostKit搜推广场景

鲲鹏BoostKit搜推广场景旨在为互联网的搜索、推荐、广告业务场景提供基于鲲鹏平台的全栈解决方案的加速能力,组件涵盖召回场景核心检索算法、排序场景模型推理TensorFlow框架软件全栈及其AI核心算子库等。

从这里开始

  • 最新动态

    介绍鲲鹏BoostKit搜推广文档的最新上线、变更动态。

  • 技术白皮书

    介绍鲲鹏BoostKit搜推广场景的方案架构、优势、关键特性等内容。

加速特性

  • 鲲鹏召回算法库

    基于鲲鹏平台优化的召回算法库,由鲲鹏图检索算法KBest、鲲鹏架构深度优化向量检索算法KScaNN、鲲鹏自研向量检索加速组件KVecturbo和基于开源PForDelta算法优化的整数压缩算法KNewPfordelta组成。

  • 鲲鹏推理加速套件

    基于鲲鹏平台优化的推理加速套件,由鲲鹏TensorFlow算子库KTFOP和鲲鹏ONNX Runtime算子库KONNX组成。

  • 鲲鹏推理AI算子库

    基于鲲鹏平台优化的高性能AI算子库,主要完成深度神经网络算子库(KAIL_DNN)和拓展算子库(KAIL_DNN_EXT)的优化。

  • 鲲鹏检索算子库

    基于鲲鹏平台优化的用于加速向量检索的算子库,针对鲲鹏处理器的指令集架构与内存访问机制进行底层优化,使用低精度量化+高精度重排等方法有效提升召回算法的计算效率与吞吐量,同时保证算法精度,适用于高并发召回场景的性能需求。

  • TensorFlow Serving线程调度优化特性

    为提升TensorFlow Serving推理性能,鲲鹏BoostKit提出了TensorFlow Serving线程调度优化方案。

  • TensorFlow Serving ANNC特性

    基于开源OpenXLA的扩展加速套件,发布在openEuler组织的ANNC开源仓,具有鲲鹏亲和的优化特性,包括TensorFlow图融合、XLA(Accelerated Linear Algebra)图融合、算子优化。

开源使能

  • oneDNN

    提供深度神经网络库oneDNN的移植指南。

  • PyTorch

    提供开源深度学习框架PyTorch的移植指南。

  • TensorFlow

    提供深度学习框架TensorFlow的移植指南。

  • TensorFlow Serving

    提供用于机器学习模型的高性能服务系统TensorFlow Serving的移植指南。

  • ScaNN

    提供向量相似性检索开源库ScaNN的移植指南。

  • DLRM

    提供深度学习推荐系统模型DLRM的移植指南。

  • TVM

    提供开源深度学习编译器堆栈TVM的移植指南。

  • ONNX Runtime

    提供加速ONNX模型的高性能跨平台推理引擎ONNX Runtime的移植指南。

性能评估

历史版本文档