解决容器中没有SP670网卡设备问题

问题现象描述

在cephadm shell启动的容器中，执行ibv_devices时，如下所示，在容器中看不到SP670的RDMA设备。

问题原因

容器中看不到的原因是没有正确安装SP670的RDMA驱动。

解决方法

1. 下载最新的固件和驱动安装包并解压。（下载NIC-FW-17.12.1.2.tar.gz、SDK_LINUX-17.12.1.2-openEuler22.03SP4-aarch64.tar.gz）

   固件和驱动获取链接

2. 升级固件。

   1 2 3 4

   tar -zvxf NIC-FW-17.12.1.2.tar.gz cd NIC-FW-17.12.1.2 rpm -ivh tool/aarch64/hinicadm3-17.12.1.2-1.aarch64.rpm hinicadm3 updatefw -i hinic0 -f ./SP670/Hinic3_flash.bin -or

   

3. 安装驱动。容器和物理机都需要安装其OS内核对应的驱动版本，这里以openEuler22.03SP4为例进行说明。

   1 2 3 4 5

   tar -zvxf SDK_LINUX-17.12.1.2-openEuler22.03SP4-aarch64.tar.gz cd SDK_LINUX-17.12.1.2-openEuler22.03SP4-aarch64 rpm -ivh nic/hisdk3-17.12.1.2_5.10.0_216.0.0.115.oe2203sp4.aarch64-1.aarch64.rpm rpm -ivh nic/hinic3-17.12.1.2_5.10.0_216.0.0.115.oe2203sp4.aarch64-1.aarch64.rpm rpm -ivh roce/hiroce3-17.12.1.2_5.10.0_216.0.0.115.oe2203sp4.aarch64-1.aarch64.rpm

4. reboot重启服务器。
   

   可以使用ethtool -i [设备名] 检查固件和驱动版本，需要重新制作Ceph部署容器，参考5.2.3，并在制作过程中完成驱动安装。