模板及mpirun命令变化说明
mpi命令改造
通过简单的变化即将mpirun的命令改造为适用于本工具的命令,改造方法如图图1所示。
改造后命令采集应用分析的统计分析,采样模式为summary的应用(-l参数不指定默认为summary模式),-sf指定应用的共享目录,采样时长为20秒。
改造前(mpi命令行) |
改造后(hpccollector工具) |
---|---|
/mpirun_install_path/mpirun -allow-run-as-root -H 1.2.3.4:1 应用 |
./hpccollector -t statistics -mpirun /mpirun_install_path/mpirun -mpi-arg "'-allow-run-as-root -H 1.2.3.4:1'" -sf /opt/mysharedir/test -app 应用 -d 20 |
使用openmpi时,运行用户为root需使用"-allow-run-as-root"参数,“1.2.3.4:1”为mpirun运行节点IP地址和该节点运行rank数量,可按实际需求修改。
若需要了解详细的参数说明请查看表1。
使用工具模板
使用工具模板可便于修改复杂参数,对于多个任务时便于管理。
taskfile的默认模板可以使用-g参数获取。按模板所示,taskfile中每行为一个参数赋值,格式为:参数名 = 参数值,参数顺序以两个公共参数开头:sharedfolder路径、mpirun路径;然后是以task_type开头的任务相关参数。任务可以定义一个或多个,每个任务以task type做为开头区分参数;空行不解析,支持行注释,注释时在行首添加“#”。
使用-g和-t/--task命令组合,可以生成制定任务类型的taskfile,如只需要生成statistics类型任务模板,如命令:INSTALL_PATH/hpccollector -g -t statistics。
以mpi命令改造中命令为例,使用模板文件配置如下:
shared_folder = /opt/mysharedir/test mpirun_command = /hpc/mpirun # task task_type = statistics mpirun_arg = --allow-run-as-root -H 1.2.3.4:1 application = /opt/mpi_app application_arg = mpi_only = sys_sampling = subtask_time = profile_level = summary critical_path = 1 duration_s = 20 delay_s = 0
以下模板为依次下发采集统计、精细化分析任务各一个,参数详情请参见表1对照。
shared_folder = /mysharedir mpirun_command = /hpc/mpirun # task 1 task_type = statistics mpirun_arg = --allow-run-as-root -rf /home/rankfile application = /hpc/mpi_app application_arg = mpi_only = 1 sys_sampling = 1 subtask_time = 1 profile_level = summary critical_path = 1 duration_s = 20 delay_s = 0 # task 2 task_type = meticulous mpirun_arg = --allow-run-as-root -rf /home/rankfile application = /hpc/mpi_app application_arg = subtask_time = 1 pmu_collect = 0 no_topn = 0 region_max = 1000 rank_fuzzy = 12800 duration_s = 5 rdma_interval = shared_storage_interval =