开发者
资源
文档评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

修改 MPI 的默认行为(可选)

用户如果需要修改 HMPI 的默认行为,可以修改 hmpi目录下的 etc/openmpi-mca-params.conf 文件,并在hucx目录下新增 etc/ucx.conf 文件。

以修改HMPI组件bisheng的release版本为例,设 /path/to 为 HPCKit 的安装目录,具体操作可参考如下步骤。

  1. 修改 MPI 配置文件。
    1. 打开 /path/to/HPCKit/latest/hmpi/bisheng/release/hmpi/etc/openmpi-mca-params.conf 文件。
      cd /path/to/HPCKit/latest/hmpi/bisheng/release/hmpi/etc
      vim openmpi-mca-params.conf
    2. 把 65 行的 hwloc_base_binding_policy 的值从 core 改为 numa,修改默认绑核策略为numa。
      hwloc_base_binding_policy = numa
    3. 添加新的一行 io = romio321,在MPI-IO场景下,默认使用romio321组件。
      io = romio321
  2. 新增 UCX 配置文件。
    1. 在 /path/to/HPCKit/latest/hmpi/bisheng/release/hucx目录下创建名为 etc 的新目录并创建名为 ucx.conf 的文件。
      mkdir -p "/path/to/HPCKit/latest/hmpi/bisheng/release/hucx/etc"
      vim /path/to/HPCKit/latest/hmpi/bisheng/release/hucx/etc/ucx.conf
    2. 添加 UCX_RC_VERBS_ROCE_LOCAL_SUBNET=y,在多网络平面下,RC 传输使用 RoCE 本地子网。
      UCX_RC_VERBS_ROCE_LOCAL_SUBNET=y
    3. 添加 UCX_UD_VERBS_ROCE_LOCAL_SUBNET=y,在多网络平面下,UD 传输使用 RoCE 本地子网。
      UCX_UD_VERBS_ROCE_LOCAL_SUBNET=y
    4. 添加 UCX_WARN_UNUSED_ENV_VARS=n,关闭UCX告警。
      UCX_WARN_UNUSED_ENV_VARS=n