本文档将提供SRA_Inference的安装指南、接口说明与示例代码，旨在帮助用户快速熟悉SRA_Inference的使用。
SRA_Inference是华为提供的基于鲲鹏平台优化的推理加速套件。该套件实现了TensorFlow、ONNX Runtime等主流框架在鲲鹏处理器的高效适配与推理加速。
SRA_Inference的组成如表1所示。
组件 |
描述 |
适用场景 |
|---|---|---|
KTFOP |
KTFOP（Kunpeng Tensorflow Operator）鲲鹏TensorFlow算子库，是鲲鹏自研的高效的TensorFlow算子库。通过SIMD（Single Instruction Multiple Data）指令、多核调度等方法，提高CPU侧算子性能，减少CPU侧计算资源的占用，从而提高在线推理端到端整体的吞吐量。 |
适用于基于TensorFlow框架的推理运算任务。 |
KONNX |
KONNX（Kunpeng ONNX Runtime）鲲鹏ONNX Runtime算子库，是鲲鹏自研的高效的ONNX Runtime算子库。通过pack（矩阵乘优化）、向量化等方法，提高CPU侧算子性能，减少CPU侧计算资源的占用，从而降低端到端推理的时延。 |
适用于基于ONNX Runtime的推理运算任务。 |
SRA_Inference仅适用于以下鲲鹏系列处理器型号：
SRA_Inference主要在以下场景中使用：