【精选问答系列】第七期:高性能计算常见问题
收藏回复举报
【精选问答系列】第七期:高性能计算常见问题
新人帖
发表于2024-07-10 15:56:30
0 查看

Q1:哪里可以获取到HPC软件的移植指南?

A1:主要有两个地方:

(1)鲲鹏社区文档库 - HPC行业应用

(2)兼容性清单 - HPC专区

Q2:HPC集群常用的性能测试工具有哪些?

A2:常用的测试工具:IMB,IOR,Stream

IMB:IMB基准测试是MPI性能的基准测量,针对各种尺寸的消息大小以进行点对点和全局通信操作,生成的基准数据表征如下:集群系统的性能(包含节点性能,网络延时和吞吐量)和MPI使用的实现效率。

IOR:测试并行POSIX和MPI-IO级别的I/O性能。该并行程序在几组条件下对文件执行写入和读取,并报告生成的吞吐率。

Stream:内存带宽实际性能测量工具。

参考链接:

https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/tstg/kunpengimb_11_0004.html

Q3:如何快速对HPC集群进行软硬件的一致性检查?

A3:推荐使用Devkit工具系统性能分析-HPC集群检查功能。该功能可对HPC物理机或虚拟机集群各节点,进行节点间软件、硬件配置的一致性检查,并给出优化建议。

使用指导:

https://www.hikunpeng.com/document/detail/zh/kunpengdevkithistory/devkit/hist-devkit/devkit-hypertuner-058.html

Q4:多瑙是什么?

A4:多瑙Portal是华为全自研的HPC集群管理平台,通过可视化界面为用户提供了便捷的HPC集群系统数据管理和软硬件资源管理功能,串联整个工作流程,帮助用户合理地进行作业调度和资源分配,提升集群系统计算能力利用率。

使用指导:

https://support.huawei.com/enterprise/zh/server-solutions/hpc-pid-253585671

Q5:鲲鹏HPC服务器BIOS参数如何配置性能较好?

A5:鲲鹏HPC服务器BIOS配置建议如下:

(1)Power Policy:Performance

(2)Custom Refresh Rate:Auto

(3)其他配置使用默认配置。

参考链接:

https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/tngg/kunpenghpcsolution_05_0007.html

Q6:Hyper MPI和其他MPI有什么区别?

A6:Hyper MPI针对Allreduce、Bcast、Barrier、Allgatherv、Gatherv和Scatterv的阻塞与非阻塞接口这六种集合操作,进行了算法和拓扑感知层面的优化,达到特定集合通信小包情形下的极致性能。相较于其他MPI,Hyper MPI具有以下关键特性:

(1)UCG模块:Hyper MPI除了包含Open MPI的所有特性之外,增加了集合通讯模块(即UCG模块),该模块中含有大量自研集合通讯算法,大幅度提升Allreduce、Bcast、Barrier、Allgatherv、Gatherv和Scatterv的阻塞与非阻塞接口等集合通讯函数的性能。

(2)支持鲲鹏环境:Hyper MPI可以在以鲲鹏芯片为核心的服务器和集群上发挥作用。

(3)支持动态加载闭源组件:Hyper MPI开源版本安装后,可以将Hyper MPI闭源组件安装到开源Hyper MPI安装目录进行闭源特性使能,无需重新编译安装Hyper MPI开源版本,Hyper MPI闭源组件提供进一步的优化特性。

参考链接:

https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/hpckit/devg/userg_huaweimpi_0003.html

Q7:MPI有哪些优化手段?

A7:常用的调优方法:

(1)在mpirun命令后添加“--bind-to core”参数进行MPI进程绑核

(2)调整MPI通信参数UCX_TLS,可设置的参数包括shm,rc,ud,rc_x,ud_x,dc_x等

(3)调整HCOLL参数,使用“hcoll_info -a”可以查看各个参数的含义和可设置值。

(4)MPI rank重排序。

参考指导:

https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/hpcindapp/tngg/kunpenghpcsolution_05_0026.html

Q8:使用毕昇编译器编译时,部分程序不被新编译器支持

A8:因为部分程序版本过于老旧或是非标准版本库。需要在编译时将其替换为标准函数库。如:移植遇到ISNAN函数不被毕昇编译器所识别,需要将其变为F 2003的标准库ieee_is_nan。

Q9:x86应用可以在鲲鹏服务器上运行吗?

A9:可以,安装华为动态二进制翻译工具ExaGear后可部署运行x86应用。ExaGear是一款二进制指令动态翻译软件,运行在Arm64服务器上,通过将x86的指令在运行时翻译为Arm64指令并执行,使得绝大部分x86应用无需重新编译就可运行在Arm64服务器上,实现低成本、快速迁移x86应用到Arm64服务器。

使用指导:

https://www.hikunpeng.com/document/detail/zh/kunpengdevps/ug-exagear/usermanual/kunpengexagear_06_0002.html

Q10:ExaGear如何查看和修改共享目录?

A10:ExaGear共享目录配置文件/opt/exagear/images/centos-<os_version>-x86_64/.exagear/vpaths-list,查看配置文件可获取默认共享目录。要修改共享目录的方式有两种:

方法1:直接修改vpaths-list文件,将目录(或文件)的完整路径另取一行添加到配置文件,注意目录需要以“/”结尾。

方法2:将host系统要共享的目录挂载到guest系统:

(1) 在x86运行环境中创建挂载点:sudo mkdir /opt/exagear/images/centos-<os_version>-x86_64/shareddir

(2) 将newdir挂载到shareddir挂载点下:sudo mount --bind /newdir /opt/exagear/images/centos-<os_version>-x86_64/shareddir

参考链接:

https://www.hikunpeng.com/document/detail/zh/kunpengdevps/ug-exagear/usermanual/kunpengexagear_06_0023.html

本帖最后由 匿名用户2024/07/10 16:15:56 编辑

我要发帖子