---
title: 排序推理场景
description: "图1 鲲鹏排序推理场景上下文对接图"
url: https://www.hikunpeng.com/document/detail/zh/SRA/twp/kunpengsra_19_0005.html
sourcePath: /source/zh/SRA/twp/kunpengsra_19_0005.html
indexId: e72614d8bfabbdf4b5f991266e1ae4d54395d29c4eec0d2f0e802747b1e50ac342
---
# 排序推理场景

#### 场景架构

图1 鲲鹏排序推理场景上下文对接图


#### 鲲鹏AI算子库KDNN

深度神经网络算子库（Deep Neural Network Library），结合鲲鹏处理器微架构特性，通过向量化、汇编、算法优化等手段，提升DNN核心算子性能，并通过插件化形式对接开源oneDNN库提供完整能力，同时支持对接TensorFlow部分矩阵类算子。


#### 鲲鹏AI算子库KDNN_EXT

深度神经网络算子扩展库（Deep Neural Network Extension Library），旨在作为KDNN的扩展库，深度优化softmax、random_choice等算子，为AI特定场景封装为Python语言接口库直接提供给用户调用。


#### 鲲鹏推理加速套件KTFOP

KTFOP鲲鹏TensorFlow算子库，是鲲鹏自研的高效的TensorFlow算子库。通过SIMD（Single Instruction Multiple Data）指令、多核调度等方法，提高CPU侧算子性能，减少CPU侧计算资源的占用，从而提高在线推理端到端整体的吞吐量。


#### TensorRT-LLM

基于开源的TensorRT-LLM，聚焦于大模型推理场景下的高效执行。通过算子优化、访存优化、参数配置等进行了深度的性能增强，提升了模型推理的吞吐量和时延表现。


#### TensorFlow

鲲鹏TensorFlow是基于开源TensorFlow的高性能推理加速扩展，聚焦于搜推广推理场景下的高效执行。通过在图优化、算子、Runtime等方面进行了深度的性能增强，提升了模型推理的吞吐量和时延表现。


#### 鲲鹏推理AI编译器ANNC

TensorFlow图编译优化特性通过使能加速神经网络计算编译器ANNC（Accelerated Neural Network Compiler），实现推荐推理性能加速。ANNC提供了计算图优化，高性能融合算子生成与对接等优化技术