Q1:哪里可以获取到HPC软件的移植指南?
A1:主要有两个地方:
(1)鲲鹏社区文档库 - HPC行业应用
(2)兼容性清单 - HPC专区
Q2:HPC集群常用的性能测试工具有哪些?
A2:常用的测试工具:IMB,IOR,Stream
IMB:IMB基准测试是MPI性能的基准测量,针对各种尺寸的消息大小以进行点对点和全局通信操作,生成的基准数据表征如下:集群系统的性能(包含节点性能,网络延时和吞吐量)和MPI使用的实现效率。
IOR:测试并行POSIX和MPI-IO级别的I/O性能。该并行程序在几组条件下对文件执行写入和读取,并报告生成的吞吐率。
Stream:内存带宽实际性能测量工具。
参考链接:
https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/tstg/kunpengimb_11_0004.html
Q3:如何快速对HPC集群进行软硬件的一致性检查?
A3:推荐使用Devkit工具系统性能分析-HPC集群检查功能。该功能可对HPC物理机或虚拟机集群各节点,进行节点间软件、硬件配置的一致性检查,并给出优化建议。
使用指导:
https://www.hikunpeng.com/document/detail/zh/kunpengdevkithistory/devkit/hist-devkit/devkit-hypertuner-058.html
Q4:多瑙是什么?
A4:多瑙Portal是华为全自研的HPC集群管理平台,通过可视化界面为用户提供了便捷的HPC集群系统数据管理和软硬件资源管理功能,串联整个工作流程,帮助用户合理地进行作业调度和资源分配,提升集群系统计算能力利用率。
使用指导:
https://support.huawei.com/enterprise/zh/server-solutions/hpc-pid-253585671
Q5:鲲鹏HPC服务器BIOS参数如何配置性能较好?
A5:鲲鹏HPC服务器BIOS配置建议如下:
(1)Power Policy:Performance
(2)Custom Refresh Rate:Auto
(3)其他配置使用默认配置。
参考链接:
https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/tngg/kunpenghpcsolution_05_0007.html
Q6:Hyper MPI和其他MPI有什么区别?
A6:Hyper MPI针对Allreduce、Bcast、Barrier、Allgatherv、Gatherv和Scatterv的阻塞与非阻塞接口这六种集合操作,进行了算法和拓扑感知层面的优化,达到特定集合通信小包情形下的极致性能。相较于其他MPI,Hyper MPI具有以下关键特性:
(1)UCG模块:Hyper MPI除了包含Open MPI的所有特性之外,增加了集合通讯模块(即UCG模块),该模块中含有大量自研集合通讯算法,大幅度提升Allreduce、Bcast、Barrier、Allgatherv、Gatherv和Scatterv的阻塞与非阻塞接口等集合通讯函数的性能。
(2)支持鲲鹏环境:Hyper MPI可以在以鲲鹏芯片为核心的服务器和集群上发挥作用。
(3)支持动态加载闭源组件:Hyper MPI开源版本安装后,可以将Hyper MPI闭源组件安装到开源Hyper MPI安装目录进行闭源特性使能,无需重新编译安装Hyper MPI开源版本,Hyper MPI闭源组件提供进一步的优化特性。
参考链接:
https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/hpckit/devg/userg_huaweimpi_0003.html
Q7:MPI有哪些优化手段?
A7:常用的调优方法:
(1)在mpirun命令后添加“--bind-to core”参数进行MPI进程绑核
(2)调整MPI通信参数UCX_TLS,可设置的参数包括shm,rc,ud,rc_x,ud_x,dc_x等
(3)调整HCOLL参数,使用“hcoll_info -a”可以查看各个参数的含义和可设置值。
(4)MPI rank重排序。
参考指导:
https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/hpcindapp/tngg/kunpenghpcsolution_05_0026.html
Q8:使用毕昇编译器编译时,部分程序不被新编译器支持
A8:因为部分程序版本过于老旧或是非标准版本库。需要在编译时将其替换为标准函数库。如:移植遇到ISNAN函数不被毕昇编译器所识别,需要将其变为F 2003的标准库ieee_is_nan。
Q9:x86应用可以在鲲鹏服务器上运行吗?
A9:可以,安装华为动态二进制翻译工具ExaGear后可部署运行x86应用。ExaGear是一款二进制指令动态翻译软件,运行在Arm64服务器上,通过将x86的指令在运行时翻译为Arm64指令并执行,使得绝大部分x86应用无需重新编译就可运行在Arm64服务器上,实现低成本、快速迁移x86应用到Arm64服务器。
使用指导:
https://www.hikunpeng.com/document/detail/zh/kunpengdevps/ug-exagear/usermanual/kunpengexagear_06_0002.html
Q10:ExaGear如何查看和修改共享目录?
A10:ExaGear共享目录配置文件/opt/exagear/images/centos-<os_version>-x86_64/.exagear/vpaths-list,查看配置文件可获取默认共享目录。要修改共享目录的方式有两种:
方法1:直接修改vpaths-list文件,将目录(或文件)的完整路径另取一行添加到配置文件,注意目录需要以“/”结尾。
方法2:将host系统要共享的目录挂载到guest系统:
(1) 在x86运行环境中创建挂载点:sudo mkdir /opt/exagear/images/centos-<os_version>-x86_64/shareddir
(2) 将newdir挂载到shareddir挂载点下:sudo mount --bind /newdir /opt/exagear/images/centos-<os_version>-x86_64/shareddir
参考链接:
https://www.hikunpeng.com/document/detail/zh/kunpengdevps/ug-exagear/usermanual/kunpengexagear_06_0023.html
Q1:哪里可以获取到HPC软件的移植指南?
A1:主要有两个地方:
(1)鲲鹏社区文档库 - HPC行业应用
(2)兼容性清单 - HPC专区
Q2:HPC集群常用的性能测试工具有哪些?
A2:常用的测试工具:IMB,IOR,Stream
IMB:IMB基准测试是MPI性能的基准测量,针对各种尺寸的消息大小以进行点对点和全局通信操作,生成的基准数据表征如下:集群系统的性能(包含节点性能,网络延时和吞吐量)和MPI使用的实现效率。
IOR:测试并行POSIX和MPI-IO级别的I/O性能。该并行程序在几组条件下对文件执行写入和读取,并报告生成的吞吐率。
Stream:内存带宽实际性能测量工具。
参考链接:
https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/tstg/kunpengimb_11_0004.html
Q3:如何快速对HPC集群进行软硬件的一致性检查?
A3:推荐使用Devkit工具系统性能分析-HPC集群检查功能。该功能可对HPC物理机或虚拟机集群各节点,进行节点间软件、硬件配置的一致性检查,并给出优化建议。
使用指导:
https://www.hikunpeng.com/document/detail/zh/kunpengdevkithistory/devkit/hist-devkit/devkit-hypertuner-058.html
Q4:多瑙是什么?
A4:多瑙Portal是华为全自研的HPC集群管理平台,通过可视化界面为用户提供了便捷的HPC集群系统数据管理和软硬件资源管理功能,串联整个工作流程,帮助用户合理地进行作业调度和资源分配,提升集群系统计算能力利用率。
使用指导:
https://support.huawei.com/enterprise/zh/server-solutions/hpc-pid-253585671
Q5:鲲鹏HPC服务器BIOS参数如何配置性能较好?
A5:鲲鹏HPC服务器BIOS配置建议如下:
(1)Power Policy:Performance
(2)Custom Refresh Rate:Auto
(3)其他配置使用默认配置。
参考链接:
https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/tngg/kunpenghpcsolution_05_0007.html
Q6:Hyper MPI和其他MPI有什么区别?
A6:Hyper MPI针对Allreduce、Bcast、Barrier、Allgatherv、Gatherv和Scatterv的阻塞与非阻塞接口这六种集合操作,进行了算法和拓扑感知层面的优化,达到特定集合通信小包情形下的极致性能。相较于其他MPI,Hyper MPI具有以下关键特性:
(1)UCG模块:Hyper MPI除了包含Open MPI的所有特性之外,增加了集合通讯模块(即UCG模块),该模块中含有大量自研集合通讯算法,大幅度提升Allreduce、Bcast、Barrier、Allgatherv、Gatherv和Scatterv的阻塞与非阻塞接口等集合通讯函数的性能。
(2)支持鲲鹏环境:Hyper MPI可以在以鲲鹏芯片为核心的服务器和集群上发挥作用。
(3)支持动态加载闭源组件:Hyper MPI开源版本安装后,可以将Hyper MPI闭源组件安装到开源Hyper MPI安装目录进行闭源特性使能,无需重新编译安装Hyper MPI开源版本,Hyper MPI闭源组件提供进一步的优化特性。
参考链接:
https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/hpckit/devg/userg_huaweimpi_0003.html
Q7:MPI有哪些优化手段?
A7:常用的调优方法:
(1)在mpirun命令后添加“--bind-to core”参数进行MPI进程绑核
(2)调整MPI通信参数UCX_TLS,可设置的参数包括shm,rc,ud,rc_x,ud_x,dc_x等
(3)调整HCOLL参数,使用“hcoll_info -a”可以查看各个参数的含义和可设置值。
(4)MPI rank重排序。
参考指导:
https://www.hikunpeng.com/document/detail/zh/kunpenghpcs/hpcindapp/tngg/kunpenghpcsolution_05_0026.html
Q8:使用毕昇编译器编译时,部分程序不被新编译器支持
A8:因为部分程序版本过于老旧或是非标准版本库。需要在编译时将其替换为标准函数库。如:移植遇到ISNAN函数不被毕昇编译器所识别,需要将其变为F 2003的标准库ieee_is_nan。
Q9:x86应用可以在鲲鹏服务器上运行吗?
A9:可以,安装华为动态二进制翻译工具ExaGear后可部署运行x86应用。ExaGear是一款二进制指令动态翻译软件,运行在Arm64服务器上,通过将x86的指令在运行时翻译为Arm64指令并执行,使得绝大部分x86应用无需重新编译就可运行在Arm64服务器上,实现低成本、快速迁移x86应用到Arm64服务器。
使用指导:
https://www.hikunpeng.com/document/detail/zh/kunpengdevps/ug-exagear/usermanual/kunpengexagear_06_0002.html
Q10:ExaGear如何查看和修改共享目录?
A10:ExaGear共享目录配置文件/opt/exagear/images/centos-<os_version>-x86_64/.exagear/vpaths-list,查看配置文件可获取默认共享目录。要修改共享目录的方式有两种:
方法1:直接修改vpaths-list文件,将目录(或文件)的完整路径另取一行添加到配置文件,注意目录需要以“/”结尾。
方法2:将host系统要共享的目录挂载到guest系统:
(1) 在x86运行环境中创建挂载点:sudo mkdir /opt/exagear/images/centos-<os_version>-x86_64/shareddir
(2) 将newdir挂载到shareddir挂载点下:sudo mount --bind /newdir /opt/exagear/images/centos-<os_version>-x86_64/shareddir
参考链接:
https://www.hikunpeng.com/document/detail/zh/kunpengdevps/ug-exagear/usermanual/kunpengexagear_06_0023.html