我要评分文档获取效率文档正确性内容完整性文档易理解0/200提交在线提单论坛求助 简介 SRA_Inference是华为提供的基于鲲鹏平台优化的推理加速套件。本文档提供了SRA_Inference的安装指南、接口说明与示例代码,旨在帮助用户快速熟悉SRA_Inference的使用。 SRA_Inference概述SRA_Inference的组成如表1所示。 表1 SRA_Inference组成部分组件 描述 适用场景 KTFOP KTFOP(Kunpeng Tensorflow Operator)鲲鹏TensorFlow算子库,是鲲鹏自研的高效的TensorFlow算子库。通过SIMD(Single Instruction Multiple Data)指令、多核调度等方法,提高CPU侧算子性能,减少CPU侧计算资源的占用,从而提高在线推理端到端整体的吞吐量。 适用于基于TensorFlow框架的推理运算任务。 SRA_Inference仅适用于以下鲲鹏系列处理器型号: 鲲鹏920 7260处理器(128核)支持NEON指令(128位宽)。 应用场景SRA_Inference主要在以下场景中使用: 推荐:推荐系统广告:广告投放 父主题: 开发指南