鲲鹏社区首页
中文
注册
开发者
支持
积分兑换 NEW
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
提交
在线提单
论坛求助

使能机密设备直通

TEE侧机密虚拟机支持PCIe设备直通，包括网卡、磁盘、GPU卡等设备。本章节主要介绍如何使能IO设备直通机密虚拟机，实现IO性能大幅提升。

约束与限制

使能设备直通的约束限制

  • 当前virtCCA设备直通不支持stage1 SMMU。
  • 当前virtCCA设备直通功能暂不支持设备认证。

使能SR-IOV的约束限制

  • 当VF仍被CVM占用时，若在REE侧销毁该VF后、但未销毁该CVM的时间段内，同一PF禁止重新创建相同BDF号的VF（因存在新创建的VF上有遗留的数据等安全风险）。因此仅当CVM完全销毁后，方可重新创建对应VF。
  • 在virtCCA实现机密设备直通时，当单个VF被直通至机密虚拟机后，其所属物理设备的所有PF及VF将永久切换至安全态，且无法回退至非安全态。若此时未直通的VF在REE侧加载设备驱动，可能触发硬件或驱动异常等可靠性问题，严重时导致设备功能失效或系统崩溃。为避免上述风险，在直通VF至CVM前，必须执行以下操作：解绑该物理设备关联的所有VF驱动。通过卸载驱动，确保REE侧无法主动操作未直通的VF资源。
  1. 使能virtCCA和SMMU安全态初始化。
    1. 打开grub.cfg文件。 
      vim /boot/efi/EFI/openEuler/grub.cfg
    2. 按“i”进入编辑模式，在HOST OS对应的位置添加如下参数。 
      virtcca_cvm_host=1 arm_smmu_v3.disable_ecmdq=1 vfio_pci.disable_idle_d3=1

    3. 按“Esc”键退出编辑模式，输入:wq!，按“Enter”键保存并退出文件。
  2. BIOS使能SMMU。
    1. 请参见《TaiShan 服务器 BIOS 参数参考（鲲鹏920处理器）》中“进入BIOS界面”的相关内容，进入BIOS界面。
    2. 依次进入“Advanced > MISC Config > Support Smmu”。
    3. 将“Support Smmu”设置为“Enabled”，按“F10”保存退出。

  3. 编译GUEST OS。
    1. 获取源码。

      虚拟机内参考此处安装编译依赖以及获取Guest OS源码。

    2. 生成默认配置。
      1. 进入“kernel”目录并修改deconfig。 
        cd /usr/src/linux-6.6.0-98.0.0.103.oe2403sp2.aarch64/
vim arch/arm64/configs/openeuler_defconfig

        内核版本号取决于用户kernel-source的安装版本，因此这里的Kernel目录应参考用户实际安装的版本所在目录。

      2. 确保编译选项修改为如下形式。 
        CONFIG_NET_9P=y
CONFIG_NET_9P_VIRTIO=y
CONFIG_VIRTIO_BLK=y
CONFIG_SCSI_VIRTIO=y
CONFIG_VIRTIO_NET=y
CONFIG_VIRTIO=y
CONFIG_VIRTIO_PCI_LIB=y
CONFIG_VIRTIO_PCI=y
CONFIG_EXT4_FS=y
# CONFIG_DEBUG_INFO_BTF is not set
CONFIG_SOFTLOCKUP_DETECTOR=y
CONFIG_LOCKUP_DETECTOR=y
CONFIG_PREEMPT_NONE=y
      3. 修改Kconfig。
        1. 修改“/block/Kconfig”文件。
          1. 打开“drivers/block/Kconfig”文件。 
            vim drivers/block/Kconfig
          2. 按“i”进入编辑模式，修改tristate“Virtio block driver”为如下。 
            bool "Virtio block driver"

          3. 按“Esc”键退出编辑模式，输入:wq!，按“Enter”键保存并退出文件。
        2. 修改“drivers/net/Kconfig”文件。
          1. 打开“drivers/net/Kconfig”文件。 
            vim drivers/net/Kconfig
          2. 按“i”进入编辑模式，修改tristate“Virtio network driver”为如下。 
            bool "Virtio network driver"

          3. 按“Esc”键退出编辑模式，输入:wq!，按“Enter”键保存并退出文件。
        3. 修改“drivers/virtio/Kconfig”文件。
          1. 打开“drivers/virtio/Kconfig”文件。 
            vim drivers/virtio/Kconfig
          2. 按“i”进入编辑模式，将config VIRTIO_PCI_LIB下的“tristate”改为“bool”。

          3. 修改tristate“PCI driver for virtio devices”为如下。 
            bool "PCI driver for virtio devices"

          4. 按“Esc”键退出编辑模式，输入:wq!，按“Enter”键保存退出文件。
      4. 生成.config配置文件。 
        make openeuler_defconfig
    3. 加入NVMe盘和网卡驱动相关的配置。开启BLK_DEV_NVME、NVME_CORE、VXLAN、MLXFW、IOMMUFD、VFIO、MLX5_VFIO_PCI和MLX5_CORE等编译选项。
      1. 执行以下命令打开menuconfig。 
        make menuconfig
      2. 在menuconfig界面输入"/"跳转至搜索界面，在搜索界面输入要开启的编译选项后按Enter键进行搜索。

      3. 搜索完成后，输入1打开依赖选项（此案例中的依赖选项为NVME_CORE）。

      4. 按“space”键将NVME_CORE的模式由"M"设置为"*"。设置完成后便开启了NVME_CORE。

      5. 按两次“Esc”键退出至上一级。

      6. 打开依赖选项后开启了BLK_DEV_NVME。

      7. 打开所有的编译选项，保存设置后，使用如下命令编译。编译完成后重启虚拟机生效。 
        export LOCALVERSION="-$(uname -r | cut -d- -f2-)"
make include/config/kernel.release
make -j$(nproc)
make modules_install
make install
sync
  4. 使能SR-IOV。

    目前支持的设备：Huawei ES3000 V6 NVMe（使用NVMe驱动），Hi1823网卡（使用hinic3驱动），Mellanox网卡（使用MLX5驱动）。

    1. 创建VF。
      • NVMe驱动。 
        echo ${VF_NUM} > /sys/class/nvme/nvme0/device/sriov_numvfs
# 分配资源
nvme virt-mgmt -c ${CTRL_ID} -a 7 /dev/nvme0
nvme virt-mgmt -c ${CTRL_ID} -r 0 -a 8 -n 8 /dev/nvme0
nvme virt-mgmt -c ${CTRL_ID} -a 9 /dev/nvme0
# 查找可用namespace
nvme list-ns -a /dev/nvme0
# 创建namespace（如果无可用namespace）
nvme create-ns /dev/nvme0 --nsze ${NS_SIZE} --ncap ${NS_SIZE} --flbas 0x0 --dps 0 --nmic 0
# 将namespace attach到VF对应的CTRL_ID 
nvme attach-ns -n ${NSID} -c ${CTRL_ID} /dev/nvme0

        CTRL_ID为VF对应的控制器ID，第一个VF的控制器为0x2，以此类推。

        NSID为namespace的ID，每个VF都需要分配一个独占的namespace。

      • Hi1823网卡和Mellanox网卡。 
        echo ${VF_NUM} > /sys/class/net/eth0/device/sriov_numvfs
    2. 销毁VF。
      • NVMe。 
        echo 0 > /sys/class/nvme/nvme0/device/sriov_numvfs
      • Hi1823网卡和Mellanox网卡。 
        echo 0 > /sys/class/net/eth0/device/sriov_numvfs
  5. 执行如下命令查询直通设备的domain和BDF号。
    lspci -tv

    该案例中domain为0000，BDF为17:00.0。

  6. 在xml文件中添加直通设备信息，将“hostdev”的内容拷贝至“dev”内，在“source”内填入设备对应的domain和BDF号。
    <devices>
<hostdev mode='subsystem' type='pci' managed='yes'>
<driver name='vfio'/>
<source>
<address domain='0x0000' bus='0x17' slot='0x00' function='0x0'/>
</source>
</hostdev>
</devices>
  7. 在虚拟机中执行如下命令查询直通设备信息。
    lspci -tv

父主题： 特性使能