排序推理场景

场景架构

图1 鲲鹏排序推理场景上下文对接图

鲲鹏AI算子库KDNN

深度神经网络算子库（Deep Neural Network Library），结合鲲鹏处理器微架构特性，通过向量化、汇编、算法优化等手段，提升DNN核心算子性能，并通过插件化形式对接开源oneDNN库提供完整能力，同时支持对接TensorFlow部分矩阵类算子。

鲲鹏AI算子库KDNN_EXT

深度神经网络算子扩展库（Deep Neural Network Extension Library），旨在作为KDNN的扩展库，深度优化softmax、random_choice等算子，为AI特定场景封装为Python语言接口库直接提供给用户调用。

鲲鹏推理加速套件KTFOP

KTFOP鲲鹏TensorFlow算子库，是鲲鹏自研的高效的TensorFlow算子库。通过SIMD（Single Instruction Multiple Data）指令、多核调度等方法，提高CPU侧算子性能，减少CPU侧计算资源的占用，从而提高在线推理端到端整体的吞吐量。

TensorRT-LLM

基于开源的TensorRT-LLM，聚焦于大模型推理场景下的高效执行。通过算子优化、访存优化、参数配置等进行了深度的性能增强，提升了模型推理的吞吐量和时延表现。

TensorFlow

鲲鹏TensorFlow是基于开源TensorFlow的高性能推理加速扩展，聚焦于搜推广推理场景下的高效执行。通过在图优化、算子、Runtime等方面进行了深度的性能增强，提升了模型推理的吞吐量和时延表现。

鲲鹏推理AI编译器ANNC

TensorFlow图编译优化特性通过使能加速神经网络计算编译器ANNC（Accelerated Neural Network Compiler），实现推荐推理性能加速。ANNC提供了计算图优化，高性能融合算子生成与对接等优化技术