调优思路

针对上述MPI精度影响因素的讨论，建议通过以下两种方式解决：

• 统一规约算法

  分别在Hyper MPI和Intel MPI端使用如下参数，使得规约算法按照Recursive doubleing算法进行，即按照进程rank进行规约即可以避免这种问题。

  • Hyper MPI加UCX_BUILTIN_ALLREDUCE_ALGORITHM=1
  • Intel MPI加-genv I_MPI_ADJUST_ALLREDUCE=1
• 重写规约算法

  重新实现Allreduce算法，对各个进程的值先排序再规约。