传输模式选择说明
执行以下命令,可查看网络设备及支持的传输模式。
ucx_info -d
回显示例:
# Transport: ud_verbs # Device: mlx5_0:1
其中,Device表示当前网络设备,Transport表示当前网络设备支持的传输模式,可存在多个支持的传输模式。
启动MPI作业时,可通过“-x UCX_TLS”参数设置MPI使用的传输模式。目前常用的参数有ud、rc、shm、mm、rc_x、ud_x、dc_x等。其中shm和mm二选一,ud、rc、rc_x、ud_x、dc_x可以选一个或多个。不设置时默认等同于-x UCX_TLS=all,表示使用当前网络设备支持的所有传输模式。
更多的传输模式以及含义可参见:https://github.com/openucx/ucx/wiki/UCX-environment-parameters。
由于默认的参数在不指定场景时会出现不是最优的情况,为达到性能最优,可尝试如下参数组合:
-x UCX_TLS=shm,rc_x,ud_x
-x UCX_TLS=shm,ud_x
-x UCX_TLS=shm,dc_x
-x UCX_TLS=mm,rc_x,ud_x
建议:Mellanox网卡环境使用ud_x与shm组合传输模式,鲲鹏RoCE网卡环境使用ud和shm组合的传输模式,原因是ud模式下创建QP的数量远低于rc模式且通讯速率较快,鲲鹏RoCE网卡环境不支持ud_x模式。
父主题: 命令说明及示例