Yarn组件在3.1.0版本合入的新特性支持,支持Yarn组件在启动Container时使能numa感知功能,原理是读取系统物理节点上每个Numa节点的CPU核、内存容量,使用Numactl命令指定启动container的CPU范围和membind范围,减少跨片访问。
1 | yum install numactl.aarch64 -y |
通过Yarn组件下的NodeManager组件添加以下两个参数:
1 2 | yarn.nodemanager.numa-awareness.enabled true yarn.nodemanager.numa-awareness.read-topology true |