开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

鲲鹏TensorFlow介绍

最新消息

  • [2026.03.30]:新增TensorFlow KDNN线程直通特性, 支持batchmatmul、concat、softmax等算子对接KDNN。
  • [2025.09.30]:新增TensorFlow ANNC图编译优化特性,提供计算图优化,高性能融合算子生成与对接等优化技术。
  • [2025.06.30]:TensorFlow Serving线程调度优化特性首次发布。

项目介绍

鲲鹏TensorFlow是基于开源TensorFlow的高性能推理加速扩展,聚焦于搜推广推理场景下的高效执行。通过在图优化、算子、Runtime等方面进行了深度的性能增强,显著提升了模型推理的吞吐量和时延表现,为AI应用提供基于鲲鹏CPU的极致性能。

图 1 项目架构

  • Executor层:运行时优化。
  • Kernel层:自定义算子,基于KDNN提供鲲鹏高性能DNN算子。
  • XLA层:基于ANNC提供鲲鹏图编译器。

特性介绍

特性名称

特性简介

线程调度优化

改进算子调度算法,并加入了其他线程管理优化,有效提升了高并发场景下的模型推理吞吐量。

ANNC图编译优化

ANNC是专注于加速神经网络计算的编译器,聚焦于通过计算图优化,高性能融合算子生成和对接技术,高效代码生成和优化能力,加速推荐的推理性能。

KDNN线程直通

KDNN线程直通支持将上层框架线程池透传到KDNN算子库,通过复用框架线程池优化KDNN算子的线程调度,最终达到了提升算子性能的目的。

关于鲲鹏TensorFlow的特性详细介绍请参见《特性介绍》。

目录结构

tensorflow
├── 0001-tensorflow_2.15.0-optimize.patch     # TensorFlow补丁文件
├── LICENSE                                   # License文件
├── README.md                                 # 项目介绍文件
└── docs                                      # 文档
│   └── zh                                    # 中文文档目录
│       ├── figures                           # 图片资源目录
│       ├── api_reference.md                  # API参考
│       ├── quick_start.md                    # 快速入门
│       ├── release_notes.md                  # 版本说明书
│       ├── installation_guide.md             # 安装指导
│       ├── feature_introduction.md           # 特性介绍  

版本说明

关于鲲鹏TensorFlow的版本更新情况请参见《版本说明书》。

学习文档

学习资源类别

学习资源名称

学习资源简介

文档

版本说明书

提供鲲鹏TensorFlow每个发布版本的基础信息和特性更新信息。

文档

特性介绍

提供鲲鹏TensorFlow特性介绍。

文档

快速入门

提供鲲鹏TensorFlow快速入门指导。

文档

安装指南

提供鲲鹏TensorFlow编译安装方法指导。

文档

API参考

提供鲲鹏TensorFlow API使用参考。

免责声明

此代码仓计划参与TensorFlow社区开源,编码风格遵照原生开源软件,继承原生开源软件安全设计,不破坏原生开源软件设计及编码风格和方式,软件的任何漏洞与安全问题,均由相应的上游社区根据其漏洞和安全响应机制解决。请密切关注上游社区发布的通知和版本更新。鲲鹏计算社区对软件的漏洞及安全问题不承担任何责任。

License

本项目采用Apache License 2.0许可证。详见LICENSE文件

本项目文档适用CC-BY 4.0许可证,具体请参见LICENSE文件。

贡献声明

欢迎大家为社区做贡献,如果使用过程中有任何问题/建议,或者需要反馈特性需求和bug报告,可以提交Issues联系我们,具体贡献方法可参考这里。同时也欢迎大家在讨论专区展开讨论交流。感谢您的支持。

致谢

鲲鹏TensorFlow由华为公司的下列部门联合贡献:

  • 鲲鹏计算Boostkit开发部

感谢来自社区的每一个PR,欢迎贡献鲲鹏TensorFlow!