下载地址：https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/
根据OS下载对应的OFED驱动，以OPENEULER-OPENEULER 22.03-aarch64为例
tar -xf MLNX_OFED_LINUX-5.8-1.0.1.1-openeuler22.03-aarch64.tgz
cd MLNX_OFED_LINUX-5.8-1.0.1.1-openeuler22.03-aarch64/
yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r)
yum install gcc make rpm-build elfutils-libelf-devel pciutils rpm-build
yum install kernel-devel-5.10.0-216.0.0.115.oe2203sp4.aarch64
yum install kernel-rpm-macros
yum install python3-unversioned-command lsof python3-devel ethtool
./mlnxofedinstall --dpdk --without-dkms --add-kernel-support --kernel `uname -r` --without-fw-update 

主机安装DPDK

容器安装DPDK

docker基础镜像可以从社区下载：https://gitee.com/openeuler/openeuler-docker-images

创建docker容器：

docker run -d --privileged \

  --cpuset-cpus="64-85" \

  -v /sys/bus/pci/devices:/sys/bus/pci/devices \

  -v /sys/devices/system/node:/sys/devices/system/node \

  -v /sys/kernel/mm/hugepages:/sys/kernel/mm/hugepages \

  -v /sys/class/net:/sys/class/net \

  -v /lib/modules:/lib/modules \

  -v /dev:/dev \

  -v /var/run:/var/run \

  --name openeuler_dpdk_1 \

  openeuler-dpdk-working:latest \

  tail -f /dev/null

--cpuset-cpus设置的范围请按照网卡所在的numa来设置。

lspci -vvvs <pci-businfo> 查看NUMA node.

将网卡驱动的RPMS目录和dpdk22.07复制进容器

进入容器：

docker容器安装网卡相关依赖，否则dpdk无法识别到cx6网卡

安装MLX依赖

cd /opt/RPMS

yum install libibumad-58mlnx43-1.58101.aarch64.rpm

yum install libibverbs-58mlnx43-1.58101.aarch64.rpm libibverbs-utils-58mlnx43-1.58101.aarch64.rpm librdmacm-58mlnx43-1.58101.aarch64.rpm librdmacm-utils-58mlnx43-1.58101.aarch64.rpm

yum install infiniband-diags-58mlnx43-1.58101.aarch64.rpm infiniband-diags-compat-58mlnx43-1.58101.aarch64.rpm

yum install rdma-core-58mlnx43-1.58101.aarch64.rpm rdma-core-devel-58mlnx43-1.58101.aarch64.rpm

上面的以此完成后开始编译dpdk

步骤与主机编译一样， 构建的时候要看

meson构建完成后

没有出现mlx5缺失则表示识别到了网卡依赖。

编译完成后：

这是正常的，链接了网卡依赖库

这是不正常的，没有链接网卡依赖库

同样在容器里面编译l3fwd.

编译好之后，将该容器制作成镜像：

docker commit d358307bc897 openeuler-dpdk-test:latest

删除之前容器，重新创建容器，使用host网络：

注意网卡所在的numa, --cpuset-cpus要在网卡的numa的范围里面

docker run -d --privileged --net=host \

  --cpuset-cpus="64-85" \

  -v /sys/bus/pci/devices:/sys/bus/pci/devices \

  -v /sys/devices/system/node:/sys/devices/system/node \

  -v /sys/kernel/mm/hugepages:/sys/kernel/mm/hugepages \

  -v /sys/class/net:/sys/class/net \

  -v /lib/modules:/lib/modules \

  -v /dev:/dev \

  -v /var/run:/var/run \

  --name openeuler_dpdk_test1 \

  openeuler-dpdk-test:latest \

  tail -f /dev/null

注意如上使用的是host网络，相当于容器能看到宿主机的全部网卡设备。

介绍另外两种方式：

方式一：

将创建网络命名空间，将单网口传入 

  CONTAINER_PID=$(docker inspect --format '{{.State.Pid}}' container_id)

  ip link set enp129s0f0np0 netns $CONTAINER_PID

方式二：创建VF，将VF传入

设置vf数量

echo 1 > /sys/class/net/enp129s0f0np0/device/mlx5_num_vfs

设置VF信任模式

echo 0000:81:00.2 >> /sys/bus/pci/drivers/mlx5_core/unbind

echo ON | tee /sys/class/net/enp129s0f0np0/device/sriov/0/trust

 echo "0000:81:00.2" >> /sys/bus/pci/drivers/mlx5_core/bind

ip link set enp129s0f0np0 vf 0 trust on

mlxreg -d /dev/mst/mt4125_pciconf0 --reg_name VHCA_TRUST_LEVEL --yes --indexes 'all_vhca=0x1,vhca_id=0x0' --set 'trust_level=0x1'

将VF传入

  CONTAINER_PID=$(docker inspect --format '{{.State.Pid}}' container_id)

  ip link set enp129s0f0v0 netns $CONTAINER_PID

以上网卡信息和pci号信息换成自己的。

测试