背景

高性能计算（High-Performance Computing）是指利用大规模、高速、并行处理的计算机系统来解决复杂的科学、工程和商业问题的计算方法和技术。高性能计算的目标是通过利用大量的计算资源和并行处理能力，以高效、快速、准确的方式进行计算，从而加快问题的求解速度和提高计算的精度。

高性能计算解决方案已经广泛应用于制造、气象、生科、教育、油气、EDA等行业，但仍然面临诸多挑战：

• 命令行交互操作复杂
  • 资源管理的维度不是基于客户视角设计，使用之前需要学习一些概念。
  • 资源管理配置比较复杂，用户不能快速掌握，配置容易出错。
• 行业应用复杂

  高性能计算应用行业复杂，多种类型应用并存。

• 数据安全问题

  数据频繁传输，效率和安全性问题需要保障。

• 异常监控

  需及时发现集群中的多维度异常、实现多集群统一管理和监控。

• 工作流程不连续

  传统高性能计算系统与用户现有的工作流程脱节。用户需要登录不同的终端分别进行数据处理和传输，没有统一的门户对业务流程进行整合。

• 资源利用率较低

  孤岛式的用户工作模式，每个用户在自己的桌面工作站上工作，并不利于协同作业，容易因为资源闲置而造成浪费。

• 集群规模小

  集群规模小，需要多个集群才能支持业务，增加运维工作量，无法支撑大规模并行MPI作业。

• 集群吞吐量低，资源利用率低

  集群吞吐量随集群规模的增大逐渐下降，进一步降低资源利用率。

• MPI耗时

  MPI通信耗时问题凸显，成为集群计算关键瓶颈。

为应对以上挑战，通过自研多瑙管理平台（Donau Portal）、多瑙调度器（Donau Scheduler）、HPCKit（包括Hyper MPI通信库、KML数学库、鲲鹏并行计算加速库、Hyper IO库、毕昇编译器、GCC for openEuler），构建高性能计算集群核心软件系统，充分释放计算性能。