排序推理场景

场景架构

图1 鲲鹏排序推理场景上下文对接图

鲲鹏AI算子库KAIL_DNN

深度神经网络算子库（Deep Neural Network Library），结合鲲鹏处理器微架构特性，通过向量化、汇编、算法优化等手段，提升DNN核心算子性能，并通过插件化形式对接开源oneDNN库提供完整能力。

鲲鹏AI算子库KAIL_DNN_EXT

深度神经网络算子拓展库（Deep Neural Network Extension Library），旨在作为KAIL_DNN的拓展库，深度优化softmax、random_choice等算子，为AI特定场景封装为Python语言接口库直接提供给用户调用。

鲲鹏推理加速套件KTFOP

KTFOP鲲鹏TensorFlow算子库，是鲲鹏自研的高效的TensorFlow算子库。通过SIMD（Single Instruction Multiple Data）指令、多核调度等方法，提高CPU侧算子性能，减少CPU侧计算资源的占用，从而提高在线推理端到端整体的吞吐量。