EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
鲲鹏小智

多卡选取优化

当应用只需使用服务器中部分GPU卡时,GPU卡位置的选取对应用性能有较大影响。

一般规则如下,实际以测试为准。

  • 当GPU间通信较多时,尽量选取集中分布在同一CPU下的GPU卡。
  • 当GPU与CPU间通信较多时,尽量选取均匀分布在2个CPU下的GPU卡。

以2卡为例来说明均匀分布选取和集中分布选取,如图1图2所示。

图1 GPU0、GPU2均匀分布
图2 GPU0、GPU1卡集中分布

GPU与CPU的连接关系可通过结合“nvidia-smi topo -m”和“lscpu |grep NUMA”命令查询得到,如下图所示,GPU0挂接在CPU0,GPU1挂接在CPU1。

GPU卡选取方式:

  • export CUDA_VISIBLE_DEVICES=0,2 #通过环境变量指定需要使用的GPU卡。
  • mpirun -np 8 -x CUDA_VISIBLE_DEVICES=0,2 args #配合mpirun命令指定需要使用的GPU卡。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词