功能架构
高性能计算功能架构分层结构如图1所示:
- DonauKit主要功能是调度器和平台管理功能,包括Donau Portal和Donau Scheduler。
- Donau Portal主要实现应用中心与报表,支持作业提交、作业管理、应用集成、远程可视化、报表展示、计费等核心功能,对外提供简单易用的界面。
- Donau Scheduler是华为全自研的调度器,提供大规模集群下的高资源利用率、高吞吐量的作业调度能力。
- HPCKit包含一套核心库和编译器,用于开发鲲鹏架构的高性能计算应用程序,包括领域加速库、KML数学库、Hyper MPI通信库、Hyper IO库、鲲鹏统一并行加速库KUPL和毕昇编译器。
- 领域加速库是针对特定高性能计算场景(如计算光刻加速库KuLitho、量子色动力学加速库KuQCD、石油勘探加速库KuRTM等)在鲲鹏平台上深度优化的加速库。利用鲲鹏处理器架构特性,通过指令级优化、算法重构和并行加速等手段,显著提升相应领域应用的运行效率。
- KML数学库是基于华为鲲鹏处理器深度优化的高性能数学计算加速库,支持快速傅里叶变换、矩阵计算、向量化运算、三角函数、对数等常用数学函数等。
- Hyper MPI通信库实现Allreduce、Bcast、Barrier集合通信算法的优化。
- Hyper IO库是一类提供系统软件和应用软件之间连接的软件,提供科学数据的存储描述格式定义和文件操作,在高性能计算应用以及大量后处理、可视化及分析框架中广泛应用。
- 鲲鹏统一并行加速库(Kunpeng Unified Parallel Library,以下简称KUPL)提供了基于鲲鹏平台优化的并行加速基础库函数,所有接口由C/C++、汇编语言实现。
- 毕昇编译器基于开源LLVM开发,对中端及后端的关键技术点进行了深度优化,是针对鲲鹏平台的高性能编译器。
- GCC for openEuler是基于开源GCC开发的编译器工具链(包含编译器、汇编器、链接器),在openEuler社区开源发布。
- 支持TaiShan 200 2280服务器。
- 支持和OceanStor Pacific分布式存储系统配套使用,Pacific支持NFS标准协议场景和DPC场景。
- 支持华为公司高性能RoCE网络。
DonauKit套件(包含Donau Portal和Donau Scheduler)不对第三方开源软件、OS和周边配套产品(存储、网络等)的安全风险与漏洞负责。
上图中的“多瑙管理平台”对应“Donau Portal”,“多瑙调度器”对应“Donau Scheduler”。
