RDMA Bond功能测试

验证网卡支持RMDA bonding功能。

1. 按组网方式2搭建测试环境。
2. 两台服务器已安装并正确配置RDMA环境。
3. 网卡至少有2个口接入了交换机，且交换机对应的端口配置了LACP协议。
4. 网卡以太网层配置bond4模式，参数参考BONDING_OPTS="mode=4 miimon=100 lacp_rate=1 xmit_hash_policy=layer3+4"，以太网和RDMA的Bond状态均正常。

1. 分别在陪测服务器和被测服务器上，为陪测网卡及被测网卡上的多个网口配置Bond4（803.a），名称为Bond1。示例命令如下所示：

   # Tester的IP配置为19.19.1.1/24，使用 enp7s0f0 和 enp7s0f1 网口。

   # DUT侧配置类似，按需修改IP地址和网口名称即可。

   modrobe bonding

   nmcli con add con-name Bond1 connection.interface-name Bond1 ipv4.method static ipv4.addresses 19.19.1.1/24 type bond bond.options mode="802.3ad,xmit_hash_policy=layer3+4"

   nmcli con add type bond-slave master Bond1 ifname enp7s0f0

   nmcli con add type bond-slave master Bond1 ifname enp7s0f1

2. 配置交换机，为陪测网卡和被测网卡的网口，配置不同的LDAP组。配置完成后，重启服务器上的网络服务。例如：

   nmcli con reload

   systemctl restart NetworkManager

3. 分别在陪测服务器和被测服务器上，执行ethtool Bond1命令，查看速率，有结果1；执行cat /proc/net/bonding/Bond1，查看Bond1状态，有结果2。
4. 执行ibv_devices、ibv_devinfo –v –d <RNIC_name>，查看是否有RDMA Bond口，速率是否和各物理网口速率之和，有结果3。
5. 分别在陪测服务器和被测服务器上启动rping服务器和客户端，有结果4。

   命令示例：

   # Tester

   rping –s –a 19.19.1.1 –v –P

   # DUT

   rping –c –a 19.19.1.1 –v –C 10000

1. 服务器和交换机的Bond均配置成功，ethtool显示的速率为Bond口下所有Slave口速率之和。
2. 状态显示LACP协议处于UP状态，负载均衡模式为layer3+4。
3. 以太网Bond成功后，自动生成对应的RDMA Bond口，速率为各Slave口速率之和。
4. rping 测试连通性正常，无异常打印。

-

1. 不同的RDMA网卡，对Bond的支持能力不同，不支持的需要进行记录。
2. 交换机配置示例：

   以H3C S6850数据中心交换机为例，假定陪测网卡和被测网卡分别连接交换机的WGE1/0/1、WGE1/0/2、WGE1/0/3和WGE1/0/4，配置2个LDAP组101(1/0/1,1/0/2)、102（1/0/3、1/0/4）。

   则可以使用下述示例命令进行配置：

   # 创建动态聚合组101~102

   system-view

   interface bridge-aggregation 101

   link-aggregation mode dynamic

   interface bridge-aggregation 102

   link-aggregation mode dynamic

   # 将端口加入到聚合组

   interface Twenty-FiveGigE 1/0/1

   port link-aggregation group 101

   interface Twenty-FiveGigE 1/0/2

   port link-aggregation group 101

   interface Twenty-FiveGigE 1/0/3

   port link-aggregation group 102

   interface Twenty-FiveGigE 1/0/4

   port link-aggregation group 102

   interface Twenty-FiveGigE 1/0/33

   port link-aggregation group 103

   quit