---
title: 简介
description: "本文档将提供SRA_Inference的安装指南、接口说明与示例代码，旨在帮助用户快速熟悉SRA_Inference的使用。"
url: https://www.hikunpeng.com/document/detail/zh/boostsra/srainference/SRA_Inference/kunpengsra_inference_16_0001.html
sourcePath: /source/zh/boostsra/srainference/SRA_Inference/kunpengsra_inference_16_0001.html
indexId: a170b38bdd9b4980dc00e15a2212018172be950f914c747fe05a93e3b1ad7a0f80
---
# 简介

本文档将提供SRA_Inference的安装指南、接口说明与示例代码，旨在帮助用户快速熟悉SRA_Inference的使用。

SRA_Inference是华为提供的基于鲲鹏平台优化的推理加速套件。该套件实现了TensorFlow、ONNX Runtime等主流框架在鲲鹏处理器的高效适配与推理加速。

#### SRA_Inference概述

SRA_Inference的组成如表1所示。


**表1 SRA_Inference组成部分**

| 组件 | 描述 | 适用场景 |
| --- | --- | --- |
| KTFOP | KTFOP（Kunpeng TensorFlow Operator）鲲鹏TensorFlow算子库，是鲲鹏自主研发的高效的TensorFlow算子库。通过SIMD（Single Instruction Multiple Data）指令、多核调度等方法，提高CPU侧算子性能，减少CPU侧计算资源的占用，从而提高在线推理端到端整体的吞吐量。 | 适用于基于TensorFlow框架的推理运算任务。 |
| KONNX | KONNX（Kunpeng ONNX Runtime）鲲鹏ONNX Runtime算子库，是鲲鹏自主研发的高效的ONNX Runtime算子库。通过pack（矩阵乘优化）、向量化等方法，提高CPU侧算子性能，减少CPU侧计算资源的占用，从而降低端到端推理的时延。 | 适用于基于ONNX Runtime的推理运算任务。 |


SRA_Inference仅适用于以下鲲鹏系列处理器型号：

- 鲲鹏920 5250/7260处理器（128核）支持NEON指令（128位宽）。
- 鲲鹏920新型号处理器，支持NEON指令（128位宽）和SVE指令（256位宽）。

#### 应用场景

SRA_Inference主要在以下场景中使用：

- 推荐：推荐系统
- 广告：广告投放