Hyper MPI
Hyper MPI是基于Open MPI 4.1.5和Open UCX 1.15.0，支持MPI-V3.1标准的并行计算API接口，新增了优化的集合通信框架。同时，Hyper MPI对数据密集型和高性能计算提供了网络加速能力，使能了节点间高速通信网络和节点内共享内存机制，以及优化的集合通信算法
Allreduce
- 将各个独立进程中的send buffer进行数学（例如加法、乘法）或逻辑（例如与、或）运算，然后将结果同步到通信域内所有进程的receive buffer中
Bcast
- root进程将buffer中的信息发送给通信域内其余进程，使得所有进程获取相同的信息
Alltoallv
- 该通信域中全部进程进行点对点通信操作，发送数据至其他进程，并从其他进程接收数据，且通信中每个进程发送和接收的长度可变
Allgatherv
- 收集该通信域中每个进程可变的数据，并将收集的数据传送给该通信域中的所有进程
Gatherv
- 该通信域中根进程将不同的数据块分发给该通信域中不同的进程
Scatterv
- 收集该通信域中每个进程可变的数据