网络收发IOPS或流量高

网口中断绑核

  1. 关闭irqbalance。

    若要对网卡进行绑核操作，则需要关闭irqbalance。

    1. 执行以下命令，停止irqbalance服务，重启失效。 
      systemctl stop irqbalance.service
    2. 执行以下命令，关闭irqbalance服务，永久有效。 
      systemctl disable irqbalance.service
    3. 执行以下命令，查看irqbalance服务状态是否已关闭。 
      systemctl status irqbalance.service

  2. 执行以下命令，查看网卡pci设备号，举例当前网卡名为enp131s0。 

    ethtool -i enp131s0

    查询结果如下。

    driver:hinic
version:2.3.2.1
firmware-version:2.3.2.1

  3. 执行以下命令，查看pcie网卡所属NUMA Node。

    lspci -vvvs <bus-info>

    查询结果如下。

  4. 执行以下命令查看NUMA Node对应的core的区间，例如此处就可以绑定到48~71。

    lscpu

  5. 进行中断绑核操作，1822网卡上共计有16个队列，将这些中断逐个绑定至所在NUMA Node的16个core上（此处举例中断绑定至NUMA node2 对应的48~63上面）。

    脚本内容如下：

    #!/bin/bash
irq_list=(`cat /proc/interrupts | grep enp131s0 | awk -F: '{print $1}'`)
cpunum=48  # 修改为所在node的第一个Core
for irq in ${irq_list[@]}
do
echo $cpunum > /proc/irq/$irq/smp_affinity_list
echo `cat /proc/irq/$irq/smp_affinity_list`
(( cpunum+=1 ))
done

    执行以下命令编辑脚本。

    bash smartIrq.sh

  6. 利用脚本查看是否绑核成功。

    脚本内容如下。

    #!/bin/bash
# 网卡名
intf=$1
log=irqSet-`date "+%Y%m%d-%H%M%S"`.log
# 可用的CPU数
cpuNum=$(cat /proc/cpuinfo |grep processor -c)
# RX TX中断列表
irqListRx=$(cat /proc/interrupts | grep ${intf} | awk -F':' '{print $1}')
irqListTx=$(cat /proc/interrupts | grep ${intf} | awk -F':' '{print $1}')
# 绑定接收中断rx irq
for irqRX in ${irqListRx[@]}
do
cat /proc/irq/${irqRX}/smp_affinity_list
done
# 绑定发送中断tx irq
for irqTX in ${irqListTx[@]}
do
cat /proc/irq/${irqTX}/smp_affinity_list
don

    执行脚本查看是否绑核成功。

    sh irqCheck.sh enp131s0

    查询结果如下。

父主题： %IRQ