安装指南

1 软件部署

1.1 环境要求

1.1.1 硬件环境

部署Kbox云手机容器环境前请确保您的环境满足已验证的硬件环境要求。

Kbox云手机容器环境部署的硬件环境配置方案要求如表 1 Kbox云手机容器环境部署硬件配置方案要求所示。

表 1 Kbox云手机容器环境部署硬件配置方案要求

1.1.2 软件环境

1.1.2.1 Kbox

部署Kbox云手机容器的软件环境要求请参见《Kbox云手机容器 特性指南》中软件部署的“软件环境”章节。

1.1.2.2 视频流引擎

在部署视频流云手机环境前，请参见本节提供的渠道获取相应的软件包并对华为提供的软件包进行完整性校验，以便进行后续的部署步骤。

获取软件包

表 1 部署视频流引擎的软件环境要求

软件包完整性校验

为了防止软件包在传递过程或存储期间被恶意篡改，从鲲鹏社区获取软件包时需下载对应的数字签名文件用于完整性验证。

1. 请参见表 1 部署视频流引擎的软件环境要求获取软件包。
2. 从华为企业业务网站或运营商网站获取校验工具和校验方法。
3. 使用2获取到的签名验证指南文档对下载的软件包进行PGP数字签名校验。

1.2 部署云手机

1.2.1 环境配置

1.2.1.1 配置BIOS

环境部署指定的服务器BIOS版本对内存的插入格式有限制。在进行BIOS设置之前，请确保内存插入格式正确，然后根据硬件配置方案需求完成MISC、Performance和Memory等相关选项的配置，用以提高服务器性能。

具体配置步骤请参见《Kbox云手机容器 特性指南》中“软件部署”的“配置BIOS”章节内容。

环境部署指定的服务器BIOS版本对内存的插入格式有限制。在进行BIOS设置之前，请确保内存插入格式正确，然后根据硬件配置方案需求完成MISC、Performance和Memory等相关选项的配置，用以提高服务器性能。

• （硬件配置方案一，可选）升级NVMe固件版本

• （硬件配置方案一）配置GPU工作模式和CPU绑定

1.2.1.2 部署Kbox容器基础环境

Kbox云手机容器部署的详细操作请参见《Kbox云手机容器 特性指南》中的“软件部署”章节。按照步骤完成该章节中“启动和卸载云手机实例”小节前的所有部署。

1.2.1.3 （可选）部署Containerd环境

视频流云手机除支持以基于Docker的容器运行时启动外，还支持以Containerd容器运行时启动。若选择以Containerd运行时运行视频流云手机，可参考本章节进行Containerd相关软件包的部署。

获取软件包

部署Containerd环境需要使用的软件包如表 1 Containerd相关软件包所示。

表 1 Containerd相关软件包

部署Containerd环境

1. 下载并解压Containerd二进制软件包到“/usr/local”目录下。

   mkdir -p /root/containerdenv/downloads
   cd /root/containerdenv/downloads
   wget https://github.com/containerd/containerd/releases/download/v1.7.14/containerd-1.7.14-linux-arm64.tar.gz --no-check-certificate
   tar Cxzvf /usr/local containerd-1.7.14-linux-arm64.tar.gz

   确认Containerd版本号为v1.7.14。

   containerd --version

2. 下载Containerd Service文件，配置成系统服务。

   cd /root/containerdenv/downloads
   wget https://raw.githubusercontent.com/containerd/containerd/main/containerd.service --no-check-certificate
   mkdir -p /usr/local/lib/systemd/system/
   cp containerd.service /usr/local/lib/systemd/system/
   systemctl daemon-reload
   systemctl enable --now containerd

   确认Containerd服务是否已正常启动。

   systemctl status containerd

   

   回显信息如上图所示表示Containerd服务已经正常启动。

3. 下载并安装runc。

   cd /root/containerdenv/downloads
   wget https://github.com/opencontainers/runc/releases/download/v1.1.12/runc.arm64 --no-check-certificate
   install -m 755 runc.arm64 /usr/local/sbin/runc

   确认runc版本号为1.1.12。

   runc --version

4. 下载并安装CNI plugin。

   cd /root/containerdenv/downloads
   mkdir -p /opt/cni/bin
   wget https://github.com/containernetworking/plugins/releases/download/v1.4.1/cni-plugins-linux-arm64-v1.4.1.tgz --no-check-certificate
   tar Cxzvf /opt/cni/bin cni-plugins-linux-arm64-v1.4.1.tgz

5. 下载并安装nerdctl工具。

   cd /root/containerdenv/downloads
   wget https://github.com/containerd/nerdctl/releases/download/v1.7.5/nerdctl-1.7.5-linux-arm64.tar.gz --no-check-certificate
   tar Cxzvf /usr/local/bin nerdctl-1.7.5-linux-arm64.tar.gz

   确认nerdctl版本号为1.7.5。

   nerdctl --version

6. 重新启动Docker服务，并重新启动一个新的终端以使新的容器运行时生效。

   systemctl restart docker

   若要切换至Docker版本的容器运行时，须将1~5已安装的相关软件二进制从对应目录中移除。移除完成后，参考以上命令重启Docker服务并重新启动一个新的终端。

• （硬件配置方案二、三、四）安装显卡驱动

1.2.2 制作镜像

1.2.2.1 制作Kbox镜像

制作视频流云手机镜像前需要根据本章节内容完成Kbox镜像的制作。

1. 请参见部署Kbox容器基础环境获取Kbox容器启动依赖组件android.tar和Kbox-patches-AOSP11.zip，并上传至服务器的“/home/kbox_video”目录（本文以此目录作为示例，用户也可自行设置目录）。

2. 解压Kbox-patches-AOSP11.zip，获取“deploy_scripts”路径下的组件base_box.sh，并将其拷贝到“/home/kbox_video”目录，赋予文件权限，使文件拥有者有读、写、执行权限而属组用户和其他用户只有读和执行权限。

   unzip Kbox-patches-AOSP11.zip
   cp Kbox-patches-AOSP11/deploy_scripts/base_box.sh /home/kbox_video/
   chmod 755 /home/kbox_video/base_box.sh

3. 制作Kbox镜像，镜像名称通常命名为kbox:origin。

   1. 上传Kbox Demo镜像包android.tar至“~/dependency”目录（本文以此目录作为示例，用户可自行设置目录），并挂载。

      镜像的名称和tag可以自行定义，格式为“{名称}:{tag}”，此处设置镜像名为kbox:demo。

      cd ~/dependency
      docker import android.tar kbox:demo

   2. 将Kbox-patches-AOSP11文件夹中的deploy_scripts目录上传至服务器的“~/dependency”目录。

   3. 上传Android Kbox二进制文件包BoostKit-boostcph-kbox_*.zip到“~/dependency/deploy_scripts”目录。

   4. （硬件配置方案二、三、四）使用硬件配置方案二、三、四时需要解压显卡驱动压缩包VAGPU-25.03.01.01-RC20.tgz，获取va_driver.tgz，上传到服务器的“~/dependency/deploy_scripts”目录。

   5. 制作包含Android Kbox二进制的Kbox镜像，其中kbox:demo为导入的官方Kbox Demo镜像，kbox:origin为包含Android Kbox二进制的新镜像。

      • 硬件配置方案一：

        cd ~/dependency/deploy_scripts
        chmod +x make_image.sh
        ./make_image.sh kbox:demo kbox:origin

      • 硬件配置方案二、三、四：

        cd ~/dependency/deploy_scripts
        chmod +x make_image.sh
        ./make_image.sh kbox:demo kbox:origin va_driver.tgz

4. 查看Kbox镜像（kbox:origin）是否制作成功。

   docker images

   回显如下，表示镜像制作成功。

   REPOSITORY    TAG       IMAGE ID        CREATED          SIZE
   kbox          origin    d1f5cfd2e722    6 seconds ago    2.09GB

1.2.2.2 制作视频流云手机镜像

获取视频流客户端tar包组件、视频流服务端tar包组件、视频流引擎二进制软件包和视频流NETINT编码卡tar包组件进行视频流云手机镜像的制作。若使用Containerd容器运行时启动视频流云手机，则需要使用Docker工具导出符合OCI格式的镜像，并通过nerdctl工具导入以供Containerd使用。

校验软件包完整性

1. 请参见视频流引擎获取CloudPhoneApk.tar.gz、DemoVideoEngine.tar.gz和BoostKit-boostcph-videoengine_*.zip软件包，获取后将软件包上传至服务器的“/home/kbox_video”目录。

2. 通过以下命令获取如下组件的SHA256校验码。

   sha256sum DemoVideoEngine.tar.gz
   sha256sum CloudPhoneApk.tar.gz

3. 将校验码分别与DemoVideoEngine_sha256.txt和CloudPhoneApk_sha256.txt进行对比。

   如果一致，说明获取的软件包完整，可以继续下一步操作，否则应该暂停部署，重新获取完整的软件包。

4. （硬件配置方案一）使用硬件配置方案一时请参见视频流引擎获取NETINT-vXXX.tar.gz软件包，获取后将软件包上传至服务器的“/home/kbox_video”目录，并重命名为NETINT.tar.gz。

   • Quadra编码卡和T432配套的NETINT.tar.gz不同，请选择对应的NETINT.tar.gz。
   • NETINT Quadra是NETINT T432编码卡的下一代演进，后续文档仅以Quadra为例进行说明；若需要使能T432编码卡，可参考Quadra编码卡进行使能。

制作镜像

1. 解压DemoVideoEngine.tar.gz软件包获取制作镜像的脚本，并赋予可执行权限。

   • 配置方案一：

     tar -xvf DemoVideoEngine.tar.gz Dockerfile_NoVPU Dockerfile_T432 Dockerfile_QuadraT2A make_image.sh
     chmod +x Dockerfile_NoVPU Dockerfile_T432 Dockerfile_QuadraT2A make_image.sh

   • 配置方案二、三、四：

     tar -xvf DemoVideoEngine.tar.gz Dockerfile_NoVPU  make_image.sh
     chmod +x Dockerfile_NoVPU  make_image.sh

2. 制作视频流云手机镜像。镜像名称可以使用默认镜像名也可以自己指定。

   • 使用默认镜像名称，执行命令如下。Kbox基础云手机和视频流云手机默认镜像名称分别为kbox:latest和video:latest。

     ./make_image.sh

   • 如果镜像名称需要自定义，执行命令如下例所示。通过参数指定Kbox基础云手机和视频流云手机镜像名称，格式均为“{镜像名}:{tag}”，如下例所示kbox、video为镜像名，origin、latest为tag。

     ./make_image.sh kbox:origin video:latest

     镜像名只可包含数字与小写字母，首字符应为小写字母，tag名只可包含数字与字母。若自定义修改了视频流云手机的镜像名称，请参见制作基础数据卷章节中将cfct_config配置文件中的视频流云手机镜像名更新为自定义的镜像名称。

3. 查看视频流云手机镜像（video:latest）是否制作成功。

   docker images

   回显如下，表示镜像制作成功。

   REPOSITORY    TAG       IMAGE ID        CREATED          SIZE
   video         latest    40e5f42c17d9    6 seconds ago    2.11GB

若使用Containerd容器运行时启动视频流云手机时，需要通过以下步骤使用Docker工具导出符合OCI格式的镜像，并通过nerdctl工具导入以供Containerd使用。

1. 导出制作好的视频流云手机镜像，以镜像名为video:latest的镜像为例（导出的容器tar包命名可自定义）。

   docker save video:latest > videolatest_oci.tar

2. 通过nerdctl导入符合OCI格式的视频流云手机镜像。

   nerdctl load -i videolatest_oci.tar

3. 确认镜像已成功导入。

   nerdctl images

4. 创建“containerd_config”配置文件使脚本可识别启动运行时为Containerd。

   cd /home/kbox_video
   touch containerd_config

   若要切换Docker作为视频流云手机的默认容器运行时，请将“containerd_config”文件删除。

5. 允许网络包转发策略。

   iptables -P FORWARD ACCEPT

1.2.3 设置cfct_config配置文件（配置方案一）

通过设置cfct_config配置文件可以灵活配置视频流云手机使用的资源，使性能达到最优。云手机启动时必须在启动路径下存放cfct_config配置文件，云手机容器会使用该文件中的配置，使用时应确保cfct_config配置文件中的配置正确。

cfct_config文件配置步骤

1. 解压cfct_config配置文件并设置文件权限，使文件拥有者有读写权限而其他属组用户和其他用户只有读权限。

   cd /home/kbox_video/
   tar -xvf DemoVideoEngine.tar.gz cfct_config
   chmod 644 cfct_config

2. 通过配置GPU、CPU、ENC、USERDATA等map中对应路数的值，选择该路容器使用的GPU、CPU、NETINT编码卡，以及数据卷存放路径。

   为确保视频流云手机的稳定运行与最佳性能，请保障每个容器所绑定的CPU物理核和GPU渲染节点同属于一个CPU片。

3. NETINT编码卡的节点在不同服务器中会有区别，应根据实际情况修改cfct_config中NETINT的值，保证编码不会因跨片导致性能损失。

4. 如果要使能Quadra/T432编码卡硬解，需要将cfct_config中的“T432_QUADRA_DECODE_ENABLE”设置为“1”。

5. 针对1张GPU卡环境：需要修改cfct_config配置文件中VIDEO_CPU_MAP_{CPU总核数}CORE_MODE{CPU_BIND_MODE变量值}。NETINT编码卡芯片节点所属NUMA查询方式请参见NETINT编码卡芯片节点所属NUMA查询方式。

   以VIDEO_CPU_MAP_128CORE_MODE0为例，保留该配置变量下与GPU绑定的CPU配置，删除其他配置，当GPU卡插在CPU0上时，删除MODE0_CPUS2和MODE0_CPUS3所有相关引用；若GPU卡插在CPU1上时，删除MODE0_CPUS0和MODE0_CPUS1所有相关引用。GPU卡所属NUMA查询方式请参见AMD GPU渲染节点所属NUMA的查询方式。

6. 针对1张编码卡环境：需要修改cfct_config配置文件中“VIDEO_ENC_MAP_CORE”。

7. 当编码卡插在CPU0上时，删除${NETINT1}；若编码卡插在CPU1上时，删除${NETINT0}。

8. 如果要使能WebRTC特性，需要将cfct_config中的“ENABLE_WEBRTC_CONNECTION”设置为“1”。若视频帧采用CPU进行软编码，需要将cfct_config中的“CPU_BIND_MODE”设置为“1”，以防卡顿。

9. 如果需要使能图形加速层功能，需要将cfct_config中的“ENABLE_RENDER_LAYER”设置为“1”。详细说明请参见图形加速层的基本功能和使用说明。

10. 如果要使能C2解码器，需要将cfct_config中的“ENABLE_AMD_C2_DECODE”设置为“1”

NETINT编码卡芯片节点所属NUMA查询方式

1. 通过nvme list命令查看编码卡芯片对应节点号。

   nvme list

   以下回显为NETINT编码芯片NVMe节点，该内容为回显示例，请以实际为准。

   Node          SN                   Model            Namespace Usage                    Format           FW Rev
   ------------- -------------------- ---------------- --------- ------------------------ ---------------- --------
   /dev/nvme0n1  Q2A325A11DC082-0454A QuadraT2A        1         8.59  TB /   8.59  TB    4 KiB +  0 B     48F6rKr1
   /dev/nvme1n1  Q2A325A11DC082-0454B QuadraT2A        1         8.59  TB /   8.59  TB    4 KiB +  0 B     48F6rKr1

2. 查看NVMe节点与PCIe bus号对应关系。

   {index}为1回显信息所示的NVMe节点编号。例如/dev/nvme1n1，该节点{index}即为1。

   find /sys/devices/ -name nvme{index}

   回显如下，其中0000:05:00.0为该设备对应的busID：

   /sys/devices/pci0000:00/0000:00:0e.0/0000:05:00.0/nvme/nvme1
   /sys/devices/virtual/nvme-subsystem/nvme-subsys1/nvme1

3. 通过bus号找到该节点与NUMA从属关系。

   {busID}为上一步骤获取的bus号。以nvme1设备的回显为例，{busID}即为0000:05:00.0。

   lspci -vvvs {busID} | grep NUMA

   回显如下。

   NUMA node: 0

4. 根据编码卡NVMe设备节点对应的NUMA修改cfct_config中NETINT的值。

   鲲鹏920 7265F/7260服务器：从属于0、1号NUMA的NVMe节点写在NETINT0字段中，从属于2、3号NUMA的NVMe节点写在NETINT1字段中。

   字段中每个设备需添加两个节点。例如2号NVMe设备，需添加“/dev/nvme2”、“/dev/nvme2n1”两个节点。

   # NETINT编码卡设备节点
   NETINT0="/dev/nvme0,/dev/nvme0n1,/dev/nvme1,/dev/nvme1n1"
   NETINT1="/dev/nvme2,/dev/nvme2n1,/dev/nvme3,/dev/nvme3n1"

AMD GPU渲染节点所属NUMA的查询方式

1. 获取GPU渲染节点命令。

   ll /dev/dri/by-path/ | grep renderD

   回显示例如下。

   lrwxrwxrwx 1 root root 13 Oct 25 10:58 pci-0000:03:00.0-render -> ../renderD128
   lrwxrwxrwx 1 root root 13 Oct 25 10:58 pci-0000:83:00.0-render -> ../renderD129

   说明该服务器插了两张AMD GPU，渲染节点分别为renderD128，renderD129。

2. 查询NUMA节点命令。

   cat /sys/bus/pci/devices/0000\:XX\:00.0/numa_node 

   其中，指令中的“XX”应按1中的实际回显IP地址进行修改。以回显renderD128为例，查询指令应为：

   cat /sys/bus/pci/devices/0000\:03\:00.0/numa_node

   回显如下所示。

   0

   该回显表明GPU渲染节点renderD128所在NUMA节点为0。

图形加速层的基本功能和使用说明

当前图形加速层使能了以下两个功能：

• GPUMock：对GPU厂商、GPU型号、OpenGL ES版本、GLMax能力值、OpenGL ES拓展进行模拟。
• ShaderCache：通过预构建着色器二进制、多云手机共享缓存，消除着色器编译链接等处理时间，降低OpenGL ES大型应用运行卡顿率。

图形加速层的使能步骤如下：

1. 将云手机启动配置文件cfct_config中的“ENABLE_RENDER_LAYER”设置为“1”。

2. 从软件包Kbox-patches-AOSP11.zip中复制kbox_render_accelerating_configuration.xml配置文件到启动路径“/home/kbox_video/”。

   cp /home/kbox_video/Kbox-patches-AOSP11/deploy_scripts/kbox_render_accelerating_configuration.xml /home/kbox_video/

3. 打开kbox_render_accelerating_configuration.xml配置文件，对应用的图形加速层功能进行配置。具体配置项描述请参见图形加速层配置项章节。

1.2.4 设置cfct_config配置文件（配置方案二、三、四）

通过设置cfct_config配置文件可以灵活配置视频流云手机使用的资源，使性能达到最优。云手机启动时必须在启动路径下存放cfct_config配置文件，云手机容器会使用该文件中的配置，使用时应确保cfct_config配置文件中的配置正确。

cfct_config配置文件配置项和配置方法如下所示。

1. 解压cfct_config配置文件并设置文件权限，使文件拥有者有读写权限而其他属组用户和其他用户只有读权限。

   cd /home/kbox_video/
   tar -xvf DemoVideoEngine.tar.gz cfct_config
   chmod 644 cfct_config

2. 通过配置GPU、CPU、USERDATA等map中对应路数的值，选择该路容器使用的GPU、CPU以及数据卷存放路径。

   为确保视频流云手机的稳定运行与最佳性能，请保障每个容器所绑定的CPU物理核和GPU渲染节点同属于一个CPU片。

3. 当前视频流云手机默认使能DC1000 GPU硬解的硬解功能（即默认ENABLE_HARD_DECODE=1），如需使用软解，需设置ENABLE_HARD_DECODE=0并重启容器。

4. 如果要使能WebRTC特性，需要更改cfct_config中的ENABLE_WEBRTC_CONNECTION=1。

5. 绑核和确认绑核生效。针对1张GPU卡环境：需要修改cfct_config配置文件中VIDEO_CPU_MAP_{CPU总核数}CORE_MODE{CPU_BIND_MODE变量值}。

   以VIDEO_CPU_MAP_128CORE_MODE0为例，保留该配置变量下与GPU绑定的CPU配置，删除其他配置，当GPU卡插在CPU0上时，删除MODE0_CPUS2和MODE0_CPUS3所有相关引用；若GPU卡插在CPU1上时，删除MODE0_CPUS0和MODE0_CPUS1所有相关引用。

   • 如何确认当前环境只有一张GPU？

     查询服务器中道客DC1000信息。

     lspci -D | grep 0200

     回显如下所示，可知该服务器上只有一张道客DC1000，其中0000:04:00.0为busID。

     0000:04:00.0 3D controller: Device 1f4f:0200
     0000:04:00.1 3D controller: Device 1f4f:0200
     0000:04:00.2 3D controller: Device 1f4f:0200
     0000:04:00.3 3D controller: Device 1f4f:0200

   • 如何确认GPU与CPU的绑定关系？

     查询该显卡所属的NUMA。

     lspci -vvvs {busID} | grep NUMA

     回显如下所示，说明该卡绑定在cpu的NUMA 0上。

     NUMA node: 0

6. 如果要使能图形加速层，需要将cfct_config中“ENABLE_RENDER_LAYER”设置为“1”。详细说明请参见图形加速层的基本功能和使用说明。

1.2.5 制作基础数据卷

确认并根据需要调整默认的镜像名称和数据卷存放目录。删除或备份现有数据卷，解压并设置启动脚本权限，使用脚本启动云手机并预装应用，最后删除初始容器。

1. 确认数据卷存放目录和镜像名称。

   默认镜像名称为video:latest，默认数据卷存放目录为“/home/mount”，可根据实际情况自行更改，修改方法为将“cfct_config”文件中“DOCKER_IMAGE”和“USERDATA”值调整为实际的名称或目录。

   DOCKER_IMAGE=video:latest
   USERDATA="/home/mount"

2. 删除原有数据卷或备份到其他位置，其中{USERDATA}为1中的实际数据卷存放目录，若存在多个数据卷存放目录，则需要分别对每个数据卷存放目录进行本章节余下所有操作。

   rm -rf {USERDATA}/data/android_base

3. 从DemoVideoEngine.tar.gz中解压获取启动脚本cfct_video，并赋予权限，使文件拥有者有读、写、执行权限而属组用户和其他用户只有读和执行权限。

   cd /home/kbox_video/
   tar -xvf DemoVideoEngine.tar.gz cfct_video
   chmod 755 cfct_video

4. 使用cfct_video脚本启动1路云手机，本文以android_1为例。

   ./cfct_video start 1  

5. 将所需的应用（例地铁跑酷等）预装到该云手机容器中，将android_1作为新数据卷，供启动视频流云手机时使用。

   cd {USERDATA}/data/
   cp -rp android_1 android_base

   如果使用nfs挂载启动的容器，由于性能考虑，不支持cp -rp直接拷贝数据目录，应该直接拷贝img。

   将所需的应用（例如地铁跑酷等）预装到该云手机容器中，将android_1.img拷贝为android_base.img作为新数据卷。

   cd ${USERDATA}/img/
   cp -rp android_1.img android_base.img

   在启动指定容器前手动拷贝android_base.img为相应容器编号。

   cd ${USERDATA}/img/
   cp -rp android_base.img android_${index}.img

6. 删除android_1容器。

   cd /home/kbox_video/
   ./cfct_video delete 1

1.3 K8s集群下部署视频流云手机（配置方案二）

1.3.1 环境准备

视频流云手机支持使用Containerd启动，使用K8s集群管理。在K8s集群下部署视频流云手机时需准备至少2台服务器，1台作为master节点，1台或者多台作为工作节点。

各节点规划详情如表 1 K8s集群节点详情所示。

表 1 K8s集群节点详情

1.3.2 搭建K8s集群

1.3.2.1 所有节点公共操作

在所有master和工作节点下完成K8s集群软件安装、Containerd配置以及其他相关操作。

1. 修改hostname，保证每台服务器hostname不重复。

   例如：

   • 在master节点上将hostname修改为k8s-master。

     hostnamectl set-hostname k8s-master
     bash

   • 在工作节点上将hostname修改为k8s-slave1。

     hostnamectl set-hostname k8s-slave1
     bash

2. 将所有服务器密码修改为相同的密码。

3. 关闭防火墙。

   systemctl stop firewalld
   systemctl disable firewalld

4. 关闭交换分区。

   • 单次生效，执行如下命令。

     swapoff -a   

   • 永久生效，在“fstab”文件中注释swap自动挂载。

     sed -i "/\/dev\/mapper\/openeuler-swap/ s|^|#|" /etc/fstab

5. 配置安装K8s集群所需软件的源。

   touch /etc/yum.repos.d/kubernetes.repo
   cat >/etc/yum.repos.d/kubernetes.repo <<EOF
   [kubernetes]
   name=Kubernetes
   baseurl=https://pkgs.k8s.io/core:/stable:/v1.28/rpm/
   enabled=1
   gpgcheck=1
   gpgkey=https://pkgs.k8s.io/core:/stable:/v1.28/rpm/repodata/repomd.xml.key
   EOF

6. 安装K8s集群软件。

   yum install -y kubelet kubeadm kubectl kubernetes-cni --disableexcludes=kubernetes
   systemctl enable --now kubelet

7. 请参见（可选）部署Containerd环境的1至3安装Containerd和runc组件。在完成Containerd和runc的组件安装后，工作节点需要额外执行6进行Docker服务的重启。

8. 修改Containerd配置。

   mkdir -p /etc/containerd/
   cd /etc/containerd/
   containerd config default > /etc/containerd/config.toml
   sed -i "s|SystemdCgroup =.*|SystemdCgroup = true|g" /etc/containerd/config.toml

9. 配置crictl，并重启containerd。

   echo "runtime-endpoint: unix:///run/containerd/containerd.sock" >> /etc/crictl.yaml
   echo "image-endpoint: unix:///run/containerd/containerd.sock" >> /etc/crictl.yaml
   echo "timeout: 10" >> /etc/crictl.yaml
   systemctl daemon-reload
   systemctl restart containerd

10. 配置网络转发。该步骤服务器重启后需重新执行。

    modprobe overlay
    modprobe br_netfilter
    echo "net.bridge.bridge-nf-call-ip6tables=1" >> /etc/sysctl.d/k8s.conf
    echo "net.bridge.bridge-nf-call-iptables=1" >> /etc/sysctl.d/k8s.conf
    echo "net.ipv4.ip_forward=1" >> /etc/sysctl.d/k8s.conf
    sysctl -p /etc/sysctl.d/k8s.conf

1.3.2.2 master节点操作

在master节点上初始化集群。

1. 下载必备镜像。

   kubeadm config images pull 

   此过程若无报错则下载成功。

   国内网络环境需要配置镜像仓，例如：

   kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers

2. 修改containerd镜像配置，根据拉取的镜像中pause的版本更改config.toml的配置，查看pause镜像版本

   crictl images

   ​ 图 1 镜像拉取信息 ​

   ​ 以图 1 镜像拉取信息中registry.aliyuncs.com/google_containers/pause:3.9为例：

    ```shell
    sed -i 's|sandbox_image =.*|sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"|g' /etc/containerd/config.toml
    ```

3. 重启Containerd。

   systemctl restart containerd

4. 集群初始化。

   kubeadm init --pod-network-cidr=10.244.0.0/16

   初始化成功后有如图 2 集群初始化成功打印信息所示信息打印。

   如果在下载镜像时配置了镜像仓，集群初始化也需要配置相同镜像仓，例如：

   kubeadm init --pod-network-cidr=10.244.0.0/16 --image-repository registry.aliyuncs.com/google_containers

   图 2 集群初始化成功打印信息

   

   需执行在图 1 集群初始化成功打印信息中黄框信息命令配置集群，红框信息表示工作节点加入集群的token命令，请保存该段命令。

   rm -rf $HOME/.kube
   mkdir -p $HOME/.kube
   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
   sudo chown $(id -u):$(id -g) $HOME/.kube/config

   当在master节点上集群初始化失败后，需按照提示查找原因并进行重置，重置后重新执行初始化命令。重置命令如下。

   kubeadm reset
   systemctl stop kubelet
   rm -rf /var/lib/cni/
   rm -rf /var/lib/kubelet/*
   rm -rf /etc/cni/
   ifconfig cni0 down
   ifconfig flannel.1 down
   ip link delete cni0
   ip link delete flannel.1

5. 启动kube-flannel网络插件。

   请参见视频流引擎获取DemoVideoEngine.tar.gz软件包，获取后将软件包上传至服务器的“/home/k8s”目录。

   cd /home/k8s
   tar -xvf DemoVideoEngine.tar.gz
   cd /home/k8s/k8s/script
   kubectl apply -f kube-flannel.yml

6. 查看集群状态。

   1. 查看当前节点的状态。

      kubectl get nodes -A -o wide

      预期结果为此master节点的状态（STATUS）列是Ready，运行时（CONTAINER-RUNTIME）列是containerd://x.x.x。

   2. 查看pod状态。

      kubectl get pod -A -o wide

      预期结果为所有的pod的状态（STATUS）列都是Running。

   若查看当前节点的状态（STATUS）列是NotReady，及查看kubelet服务状态（systemctl status kubelet）时有明显报错（Network plugin returns error: cni plugin not initialized），此情况建议将集群重置并将服务器重启后重新初始化。

1.3.2.3 工作节点操作

将工作节点加入到集群中。

请参见视频流引擎获取DemoVideoEngine.tar.gz软件包，获取后将软件包上传至服务器的“/home/k8s”目录。

1. 容器存储隔离和大小设置。该步骤服务器重启后需重新执行。

   cd /home/k8s
   tar -xvf DemoVideoEngine.tar.gz k8s/
   cd /home/k8s/k8s/DevicesPlugin
   chmod +x storage_manager.sh
   ./storage_manager.sh $ACTION $STORAGE_START_INDEX $STORAGE_END_INDEX $STORAGE_SIZE_GB $IMG_BASE

   命令参数说明如表 1 容器存储隔离和大小设置参数说明所示。

   表 1 容器存储隔离和大小设置参数说明

   参数	说明
   ACTION	参数值为create，fcreate或delete，普通创建、创建f2fs格式启动的容器或者删除。
   STORAGE_START_INDEX	数据卷删除或创建起始编号。
   STORAGE_END_INDEX	数据卷删除或创建结束编号，结束编号必须大于或者等于起始编号。
   STORAGE_SIZE_GB	存储大小，单位为GB。删除时可不传。
   IMG_BASE	基础数据卷img文件，若无基础数据卷可不传，基础数据卷img文件制作请参考。删除时可不传。参数STORAGE_SIZE_GB和IMG_BASE只传其中一个。

   例如：

   • 创建100个存储大小为32GB的存储隔离数据卷，名称为video1~video100。

     ./storage_manager.sh create 1 100 32

   • 创建1个存储大小为32GB的存储隔离数据卷，名称为video1，并且容器内部以f2fs格式启动。

     ./storage_manager.sh fcreate 1 1 32

   • 如果在此基础上，要增加20个存储大小为32GB的存储隔离数据卷，名称为video101~video120。

     ./storage_manager.sh create 101 120 32

   • 删除名称为video1~video100数据卷。

     ./storage_manager.sh delete 1 100

   • 如果在此基础上，要删除名称为video101~video120这剩余20个数据卷。

     ./storage_manager.sh delete 101 120

   • 通过videobase.img为基础制作名为video1~video100的数据卷。

     ./storage_manager.sh create 1 100 /home/mount/img/videobase.img

   若已执行该步骤命令，重新修改某个编号的数据卷存储大小时需先删除对应编号的数据卷再重新创建。

   此处创建的数据卷的文件格式需要和'k8s-video.sh'拉起pod时的配置保持一致。例如：若通过'fcreate'为video1创建了f2fs格式的数据卷，那么使用启动脚本'k8s-video.sh'拉起video1的时候必须将f2fs开关设置为1。

2. 修改containerd镜像配置，根据master节点拉取的镜像中pause的版本更改config.toml的配置，以图 1 镜像拉取信息中registry.aliyuncs.com/google_containers/pause:3.9为例

   sed -i 's|sandbox_image =.*|sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"|g' /etc/containerd/config.toml
   systemctl restart containerd

3. 执行在master初始化成功时保存的图 1 集群初始化成功打印信息红框中加入集群的token命令。

   例如：

   kubeadm join xx.xx.xx.xx:xxxx --token 7h0hpd.1av4cdcb4fb0on5x \
   --discovery-token-ca-cert-hash sha256:357c6d1dbefe6f7adf3c80987a90d3765965b1c43e1757b655ea8586c8ade10a

   • 工作节点重启后，重新加入集群时，需保证此工作节点可运行视频流云手机。
   • xx.xx.xx.xx为IP地址，xxxx为映射端口号。
   • 加入集群的token命令若失效可重新在master节点执行如下命令重新生成。

   kubeadm token create --print-join-command

4. 拷贝master节点的kube config文件到工作节点

   rm -rf $HOME/.kube
   mkdir -p $HOME/.kube
   sudo scp root@xxx.xxx.xxx.xxx:$HOME/.kube/config $HOME/.kube/config
   sudo chown $(id -u):$(id -g) $HOME/.kube/config

5. 查看集群状态。

   1. 需在master节点查看状态。

      kubectl get nodes -A -o wide

      预期结果为此工作节点的状态（STATUS）列是Ready，运行时（CONTAINER-RUNTIME）列是containerd://x.x.x。

   2. 需在master节点查看pod状态。

      kubectl get pod -A -o wide

      预期结果为此工作节点上的pod的状态（STATUS）列都是Running。

   3. 在此工作节点查看容器状态。

      crictl ps

      预期结果为所有的容器状态（STATE）列都是Running。

6. （可选）配置NUMA亲和。

   1. 编译环境配置和插件时需要保证Golang版本1.23或以上，将新的1.23版本的Golang go目录放至“/usr/lib”下，将“go/bin/go”和“go/bin/gofmt”放至“/usr/bin”下。

      systemctl stop kubeletexport GOROOT=/usr/lib/go
      go env -w GO111MODULE=on
      go env -w GOPROXY=https://goproxy.io,direct

   2. 请参见视频流引擎获取K8s NUMA亲和插件软件包topo-affinity-plugin-master.zip，获取后将软件包上传至服务器的“/home/k8s”目录。

   3. 解压topo-affinity-plugin-master.zip，进入软件包目录并编译插件。

      unzip topo-affinity-plugin-master.zip
      cd topo-affinity-plugin-master
      go mod tidy
      make build

      构建完成后，请确认在“bin”目录下生成“kunpeng-tap”二进制文件。

   4. 安装Containerd（容器运行时）的版本。

      make install-service-containerd

      如果需要修改启动参数，则在源代码目录下的“hack/kunpeng-tap.service.containerd”文件的“ExecStart=”下进行修改，用户可根据需求修改相关参数后启动。参数说明请参见表 2 启动参数说明。

      [Unit]
      Description=Kunpeng Topology-Affinity Plugin Service
      After=network.target
      
      [Service]
      ExecStart=/usr/local/bin/kunpeng-tap --runtime-proxy-endpoint="/var/run/kunpeng/tap-runtime-proxy.sock" \
          --container-runtime-service-endpoint="/var/run/containerd/containerd.sock" --container-runtime-mode="Containerd" \
          --resource-policy="topology-aware" --v=2
      Restart=always
      RestartSec=5
      
      [Install]
      WantedBy=multi-user.target

      表 2 启动参数说明

      参数名称	参数描述	默认值	说明
      container-runtime-mode	插件对接的容器运行时，对应集群运行时设置Docker或Containerd。	Containerd	依照K8s集群使用的容器运行时决定。
      resource-policy	容器资源的优化策略，目前支持numa-aware和topology-aware。numa-aware策略支持Burstable类型容器进行CPU的NUMA亲和。topology-aware策略提供Socket、Die、NUMA等拓扑层次的CPU亲和，支持内存、GPU的优化配置。	topology-aware	依照需求进行选择。
      v	日志信息等级，调整范围2至5。	2	等级越高，日志输出越详细。

   5. 启动TAP服务。

      make start-service

      启动成功后回显信息中输出的Status为active。

   6. 修改并重启Kubelet。

      1. 重启前先需确保该节点上未部署容器。

      2. 修改kubelet参数配置文件“/var/lib/kubelet/kubeadm-flags.env”。

         初始配置内容如下：

         KUBELET_KUBEADM_ARGS="... --container-runtime=remote --container-runtime-endpoint=unix:///var/run/containerd/containerd.sock ..."

         修改为如下内容：

         KUBELET_KUBEADM_ARGS="... --container-runtime=remote --container-runtime-endpoint=unix:///var/run/kunpeng/tap-runtime-proxy.sock ..."

   7. 重新启动kubelet并查看，并查看是否重启成功。

      systemctl daemon-reload
      systemctl restart kubelet
      systemctl status kubelet

      卸载TAP插件步骤：

      • “/var/lib/kubelet/kubeadm-flags.env”文件为初始配置内容并重启kubelet。

      systemctl daemon-reload
      systemctl restart kubelet
      systemctl status kubelet

      • 进入“topology-affinity-plugin”源码目录，并执行插件卸载命令。

      cd /home/k8s/topo-affinity-plugin-master
      make uninstall-service

1.3.3 部署镜像

1.3.3.1 部署道客设备插件镜像

在所有工作节点完成部署道客设备插件镜像的操作。

道客设备插件由道客提供，本文档配套v0.0.5版本。请先获取相关的安装文档和软件包，并按照文档完成道客设备插件的部署。

1. 请参见《Kbox云手机容器 安装指南》中软件部署的“环境准备”章节获取显卡驱动VAGPU-25.03.01.01-RC20.tgz软件包。解压获取k8s-v0.0.5-1.tar.gz压缩包。
2. 解压k8s-v0.0.5-1.tar.gz获取相关的安装文档和软件包。
3. 请参见《DC1000加速卡Va Docker安装指南 01.pdf》中第四章（安装Va Docker）安装Va Docker。
4. 请参见《DC1000加速卡Kubernetes设备插件安装指南 03.pdf》中第三章（安装部署）安装设备插件。

1.3.3.2 部署设备插件镜像

在所有工作节点完成部署设备插件镜像的操作。

1. 安装golang，版本需在1.17以上。

   yum install golang

2. 下载device-plugin的代码并切换到指定commitid。

   git clone https://github.com/everpeace/k8s-host-device-plugin.git
   cd  k8s-host-device-plugin
   git checkout 15e0a180dd4fbea7ea09b563b9e0713d3b90579a

3. 合入device-plugin.patch。

   将device-plugin.patch（此文件位于DemoVideoEngine.tar.gz中的“k8s/DevicesPlugin”文件夹下）拷贝到“k8s-host-device-plugin”目录。

   cd k8s-host-device-plugin
   patch -p1 < device-plugin.patch

4. 编译device-plugin，修改go语言的镜像仓库地址。

   export GOPROXY=https://goproxy.cn
   go build

5. 制作镜像。

   docker build -f Dockerfile  -t k8s-hostdev-plugin:0.1 .
   docker save k8s-hostdev-plugin:0.1 -o k8s-hostdev-plugin.tar

6. 导入镜像。

   将k8s-hostdev-plugin.tar拷贝到所有工作节点，然后导入镜像。

   ctr -n k8s.io images import k8s-hostdev-plugin.tar

1.3.3.3 部署input设备权限写入插件镜像

在所有工作节点完成部署input设备权限写入插件镜像的操作。

因为视频流云手机启动后，会通过uinput内核模块生成一个虚拟输入设备，所以生成的虚拟输入设备在容器中访问需配置对应的权限，input设备权限写入插件主要完成容器创建后，自动写入虚拟输入设备的权限。

1. 制作input设备权限写入插件镜像并导入。

   cd /home/k8s/k8s/InputPermission
   ./make_image.sh

   make_image.sh中包含了镜像制作和导入的步骤。

2. 将input-device-permission.tar拷贝到其他工作节点并完成导入。

   ctr -n k8s.io images import input-device-permission.tar

1.3.3.4 部署视频流镜像

选择一台工作节点机器进行镜像制作，然后在所有工作节点导入并完成部署视频流镜像操作。

1. 将DemoVideoEngine.tar.gz软件包放在指定目录下，假设DemoVideoEngine.tar.gz已经放在“/home/k8s”目录下。

   mkdir -p /home/k8s/tmp 
   cd /home/k8s/tmp 
   tar -xvf  ../DemoVideoEngine.tar.gz

2. 修改编码器类型，重新制作DemoVideoEngine.tar.gz软件包。

   “default.prop”文件中设置编码器默认类型为“1”，而道客需要使用编码器类型为“2”，故解压修改后需要重新打包。此外“default.prop”文件还可以修改帧率等设置信息，设置完成后需要重新制作镜像。需保证制作后的镜像通过Docker方式可正常运行云手机。

   1. 打开“default.prop”文件。

      vi vendor/default.prop

   2. 按“i”键进入编辑模式，修改文件中“vmi.video.encodertype”值为“2”，“vmi.video.encode.rcmode”值为“2”或者“3”。

   3. 按“Esc”键，输入**:wq!**并按“Enter”键保存并退出编辑。

   4. 重新制作DemoVideoEngine.tar.gz软件包。

      tar -zcvf DemoVideoEngine.tar.gz  *

3. 使用2制作的DemoVideoEngine.tar.gz，请参见制作镜像重新制作视频流镜像。例如：制作出的镜像名为video:version。

4. 使用docker导出视频流镜像。

   docker save video:version -o video.tar

5. 将视频流镜像拷贝到所有工作节点并导入。

   ctr -n k8s.io images import video.tar

   crictl images命令可查看镜像名称和tag，例如：镜像名为docker.io/library/video:version。

2 虚拟机环境部署

2.1 环境要求

建议在鲲鹏920 7280Z处理器上openEuler 22.03 LTS SP4操作系统中搭建视频流引擎的虚拟机环境，环境搭建前请确保您的硬件环境满足要求。

硬件要求

硬件要求如表 1 Kbox安卓容器环境部署硬件环境要求所示，硬件配置及参数如表 2 鲲鹏服务器配置及参数所示。

表 1 Kbox安卓容器环境部署硬件环境要求

表 2 鲲鹏服务器配置及参数

表 3 虚拟机规格

操作系统要求

宿主机/虚拟机操作系统要求如表 4 宿主机操作系统要求、表 5 虚拟机操作系统要求所示。

表 4 宿主机操作系统要求

表 5 虚拟机操作系统要求

获取虚拟机软件包

虚拟机部署所需的补丁和脚本文件如表 6 虚拟机部署所需文件获取方式所示。

表 6 虚拟机部署所需文件获取方式

2.2 宿主机环境配置

2.2.1 修改BIOS配置

通过在宿主机中修改BIOS相关配置选项，使宿主机达到部署虚拟机环境的最优条件。

在部署虚拟机环境之前，需要在宿主机中修改如表 1 BIOS配置项说明所示的BIOS选项配置。

表 1 BIOS配置项说明

2.2.2 修改内核模块

使用DC1000 GPU硬件环境时，在虚拟机内安装驱动需要对宿主机内核做适配，请提前获取内核源码。

1. 请参见表 4 宿主机操作系统要求获取内核源码。

2. 解压内核源码并进入根目录。

   unzip 5.10.0-216.0.0.zip
   cd 5.10.0-216.0.0

3. 请参见获取虚拟机软件包，获取内核patch文件general.patch。

4. 在内核源码目录“5.10.0-216.0.0”下，合入patch。

   patch -p1 < general.patch

5. 生成.config文件到源码目录。

   cp /boot/config-5.10.0-216.0.0.115.oe2203sp4.aarch64 .config
   make menuconfig

6. 执行命令后，在出现的界面中选择“Load”，如图所示。

   

7. 出现如图所示的界面时，选择“OK”。

   

8. 在内核配置界面中，配置如表 1 内核编译选项配置说明所示的内核编译选项。

   表 1 内核编译选项配置说明

   配置项	配置要求
   LOCALVERSION	-patched-vm
   DEBUG_INFO_BTF	N

   配置方法

   • “/”用于搜索。
   • “Y”将选中项编译进内核，对应项显示为：[*]。
   • “N”将选中项排除，对应项显示为：[]。
   • “M”键将选中的项编译成模块（编译成ko的形式），对应项显示为：<M>。
   • “Enter”编辑选中项内容。
   • 数字选择搜索结果。
   • 修改完成后单击最下方<Save>保存修改。
   • 保存后单击最下方<Exit>选项退出。

9. 安装依赖并启用LXCFS服务。若命令分多行，需要在行末加上“\”符号。

   yum install -y dwarves dpkg dpkg-devel openssl openssl-devel ncurses ncurses-devel bison flex bc libdrm build elfutils-libelf-devel docker lxc lxcfs lxcfs-tools git tar patch make gcc
   systemctl start lxcfs
   systemctl enable lxcfs

   

10. 编译内核代码。

    make -j72

11. 安装新内核。

    make modules_install 
    make install

2.2.3 修改grub配置

修改grub配置文件，在宿主机中使能内存大页，提高宿主机的内存管理效率和性能。使能iommu passthrough，提高访存效率。使能GICv4.1，直通中断降低CPU损耗和时延以及提升虚拟硬盘IO性能。

1. 在宿主机系统中，编辑grub配置文件。

   vim /etc/default/grub

2. 按“i”进入编辑模式，在GRUB_CMDLINE_LINUX后添加如下所示配置。

   "default_hugepagesz=1G hugepagesz=1G hugepages=800 pci=realloc transparent_hugepage=never iommu.passthrough=1 arm64.nopauth kvm-arm.vgic_v4_enable=1 kvm-arm.virt_msi_bypass=1 irqchip.gicv3_rsv_buses_start=30 irqchip.gicv3_rsv_buses_count=10"

   内存大页配置参考：hugepages = 当前总内存*0.8（向下取整），在本环境下设置为1TB *0.8 = 800GB。

3. 按“Esc”键退出编辑模式，输入**:wq!**并按“Enter”键保存并退出文件。

4. 更新grub配置文件。

   grub2-mkconfig -o /boot/efi/EFI/openEuler/grub.cfg

5. 设置启动内核。

   grub2-set-default 'openEuler (5.10.0-patched-vm) 22.03 (LTS-SP4)'

6. 重启服务器。

   reboot

7. 重启完毕后检查内核是否切换为“5.10.0-patched-vm”。

   uname -r

8. 查看内存大页是否成功配置。

   cat /sys/devices/system/node/node*/meminfo | grep Huge

   回显如下图所示，“Node x HugePages_Total”字段总和为“800”则为配置成功。

   

9. 查看iommu passthrough是否成功配置。

   dmesg | grep iommu | head -n 10

   回显信息中显示“iommu: Default domain type: Passthrough”则配置成功。

   

10. 查看GICv4.1是否成功配置。

    dmesg | grep GICv4.1

    回显信息中显示“GICv4.1 support enabled”则配置成功。

    

11. 虚拟机启动后，执行下述指令。

    dmesg | grep "Create shadow device"

    回显信息中显示“Create shadow device”字段，则GICv4.1配置成功。

    

2.2.4 安装虚拟机相关依赖

在搭建虚拟机环境的宿主机中安装虚拟机环境所需的依赖。

1. 安装libvirt和virt-manager及相关依赖。

   yum install libvirt virt-manager edk2-aarch64 sshpass mesa-libGLES-devel mesa-dri-drivers virt-install -y

2. 安装x11 server用于支持virt-manager图形化管理界面。

   yum install xorg-x11-server

3. 打开sshd配置文件。

   vi /etc/ssh/sshd_config

4. 按“i”进入编辑模式，将“X11Forwarding”字段设置为“yes”。

5. 按“Esc”键退出编辑模式，输入**:wq!**并按“Enter”键保存并退出文件。

6. 重启sshd服务。

   systemctl restart sshd

   若后续virt-manager指令报错则需要重新启动一个SSH终端界面。

2.2.5 查询GPU卡PCIe节点信息

鲲鹏920 7280Z处理器有4个NUMA，总共会创建4个虚拟机，所利用的资源分别对应宿主机的4个NUMA。因每个NUMA上都会有两张GPU卡，为避免产生跨NUMA访问而造成性能损失，在创建虚拟机前，需要确认每个虚拟机使用GPU卡的PCIe节点，用于设备的添加。

1. 确认瀚博GPU卡所有PCIe节点的ID。

   lspci | grep 0200

   

2. 确认所对应的NUMA，此返回顺序符合1中的ID顺序，即可确定每个GPU卡节点所对应的NUMA ID。下图所示回显信息仅为示例，如17:00.0~18:00.3（即前八个节点）对应宿主机的NUMA 1。

   lspci -vvv -d 1f4f:0200 | grep NUMA

   

2.2.6 配置宿主机网络

创建宿主机网络设备，支撑后续虚拟机网络配置。

1. 查看宿主机使用的网卡。

   ip a

   

2. 查看该网卡的PCI节点。

   lshw -c network -businfo

   

3. 查看该网卡最多支持的VF网卡数量。

   cat /sys/bus/pci/devices/0000:75:00.0/sriov_totalvfs

   

   • 如果该步骤执行成功，说明设备支持SR-IOV虚拟网卡直通方案。回显为7表示可以生成7个虚拟网卡，最多可以支撑7个虚拟机使用虚拟网卡。
   • 如果该步骤执行失败，或者回显的虚拟网卡数小于准备部署的虚拟机数量，则可以选择第二个方案网桥模式。网桥模式会带来额外的计算性能损耗以及时延。网桥模式配置详情请查看6~7。

4. 生成VF虚拟网卡。

   echo 4 > /sys/bus/pci/devices/0000:75:00.0/sriov_numvfs

   每次服务器重启都需要重新执行该步骤，建议将其配置在“~/.bashrc”等文件中，确保每次重启后都会自动执行。

5. 查看生成的VF节点。

   lshw -c network -businfo

   回显如下图所示，新生成了4个虚拟网卡，表示操作成功。

   

   1~5已经完成了SR-IOV虚拟网卡方案中，虚拟网卡的生成。后续步骤可以跳过。 如果设备不支持SR-IOV，考虑使用下面的网桥方案。 如果3中网卡最多支持的VF网卡数量回显小于4。例如为2，那么考虑2个虚拟机使用SR-IOV方案，2个虚拟机使用网桥方案。

6. 查看当前网卡配置文件并备份。

   cd /etc/sysconfig/network-scripts/
   cp ifcfg-eno5 ifcfg-eno5.bak

7. 新建网桥配置文件“ifcfg-br0”并修改网卡配置文件。

   将网卡配置文件的IPADDR，NETMASK，GATEWAY，DNS全部移植到网桥配置文件中。

   touch ifcfg-br0
   cat >ifcfg-br0 <<EOF
   TYPE=Bridge
   NAME=br0
   DEVICE=br0
   ONBOOT=yes
   BOOTPROTO=static
   IPADDR=XX.XX.XX.XX
   NETMASK=XX.XX.XX.XX
   GATEWAY=XX.XX.XX.XX
   DNS1=XX.XX.XX.XX
   EOF

   1. 网桥配置文件中的IPADDR，NETMASK，GATEWAY，DNS根据宿主机网卡配置修改。
   2. 宿主机网卡配置文件中删除IPADDR，NETMASK，GATEWAY，DNS配置并在最后新增配置“BRIDGE=br0”。

8. 重启libvirtd和NetworkManager服务并重启服务器。

   systemctl restart libvirtd
   systemctl restart NetworkManager
   reboot

9. 查看br0网桥是否成功创建。

   ip a

   出现如下配置说明网桥创建成功。

   

2.3 虚拟机配置

2.3.1 使用virt-manager创建虚拟机

总共需要创建4个虚拟机，需要顺序操作执行4次该章节的操作步骤。或者先执行1次，后续通过虚拟机拷贝操作步骤创建虚拟机。

虚拟机拷贝操作步骤请参见虚拟机拷贝。

1. 打开virt-manager，选择红框所示按钮打开虚拟机配置界面。

   virt-manager

   

2. 选择“Local install media (ISO image or COROM)”后单击“Forward”。

   

3. 单击“Browse”，选择提前下载好的openEuler 22.03 LTS SP4镜像，取消勾选下面的“Automatically detect from installation media / source”，填写“Generic default”，最后单击“Forward”。

   

4. “Memory”分配额度填写“180000”，“CPUs”处填写“80”，然后单击“Forward”。

   

   内存180000仅供参考。建议根据2.2.3-8中内存大页分配情况，将NUMA分配的内存大页全部分配到对应的虚拟机中。

5. 磁盘处分配512GiB，然后单击“Forward”。

   此处的512GiB仅作为示例，请根据实际情况分配磁盘空间。如果后续准备直通磁盘分区作为数据盘以提升虚拟机的IO性能，此处可以分配少量空间比如50GiB，将该磁盘仅作为系统盘。

   

   如果当前磁盘没有足够的空间，可以在其他盘创建虚拟硬盘文件。操作步骤如下所示：

   1. 创建磁盘镜像文件vm0.qcow2。

      qemu-img create -f qcow2 vm0.qcow2 1024G

   2. 勾选“Select orcreate custom storage”，单击“Manage”。

      

   3. 单击“Browse Local”。

      

   4. 选择刚刚创建的vm0.qcow2镜像文件。

      

6. 名称分别起名为vm_X_（X = 0,1,2,3） ，同时需要勾选“Customize configuration before install”，如果2.2.6-配置宿主机网络中宿主机配置了网桥模式，此处Network selection应选择Bridge br0，然后单击“Finish”。

   

   如果2.2.6-配置宿主机网络选择了SR-IOV虚拟网卡直通配置，则无需考虑Network selection，后续会删除这些虚拟网络接口。

7. 进入界面后单击下方“Add Hardware”依次添加以下相关设备。

   

   1. 添加外设1：“Add Hardware > Input > Generic USB Keyboard > Finish”

   2. 添加外设2：“Add Hardware > Input > Virtio Tablet > Finish”

   3. 添加GPU卡PCIe设备（每个虚拟机需要2张GPU卡，因此依次添加8个节点） : “Add Hardware > PCI Host Device > 选择对应节点 > Finish”。GPU节点和2.3.2-2中的NUMA节点需与查询GPU卡PCIe节点信息对应选择。

   4. 如果2.2.6-配置宿主机网络中采用了SR-IOV方案，添加虚拟网卡到虚拟机：“Add Hardware > PCI Host Device > 选择对应节点 > Finish”。网卡节点请参见2.2.6-5回显信息。

      

   5. 如果默认没有“Display VNC”设备，则需手动添加。单击“Add Hardware > Graphics”，Type选择“VNC server”，然后单击“Finish”添加该设备。

8. 单击“Begin Installation”，在弹出界面选择第一个选项，开始进行系统的安装。

9. 在安装主界面选择安装目的地。

   

10. 在安装目标位置界面选择自定义“Custom”后左上角单击“Done”。

    

11. 选择分区方式为“Standard Partition”，即标准分区。

    

12. 单击“+”号后添加对应挂载点，如表 1 分区对应挂载点所示。

    

    表 1 分区对应挂载点

    挂载点	容量大小
    /boot	2G
    /boot/efi	2G
    /swap	32G

    分完以上3个以后直接添加即可，剩余空间会分配给根目录。完成后单击“Done”，在弹出的窗口中选择“接受更改”。

13. 在开始安装前查看服务器当前空闲的内存。

    free -h

    如果空闲内存小于4中设置的虚拟机内存，则提前执行2.3.2-3和2.3.2-5，请参见获取虚拟机软件包获取虚拟机调优脚本setup_vm.sh，使能虚拟机内存大页。如果空闲内存足够，可以跳过该步骤。

    ./setup_vm.sh vm0 --numatune {绑定NUMA}
    ./setup_vm.sh vm0 --enable_hugepages

    如果没有使能虚拟机内存大页，虚拟机默认会使用宿主机的空闲内存，如果宿主机系统空闲内存不足，则虚拟机系统会安装失败。此时就需要提前将内存大页分配给虚拟机，让其直接使用内存大页安装系统。

14. 配置root账号和密码，完成后单击“Begin Installation”开始安装。

    

15. 安装完成后，重新打开virt-manager，关闭虚拟机。

    

16. （可选）直通磁盘分区进入虚拟机内部作为数据盘。

    直通磁盘分区可以提升虚拟机磁盘的IO性能，推荐在磁盘IO密集场景比如说高密度云游戏场景使能该特性。

    1. 查看宿主机磁盘分区信息。

       lsblk

       选择一个分区作为虚拟机的数据盘，此处以nvme0n1p7为例。

       

    2. 打开virt-manager，单击“Add Hardware > Manage”。将“Bus type”配置为“VirtIO”，“Cache mode”配置为“none”，“IO mode”配置为“native”。

       

    3. 单击“Browse Local > dev > nvme0n1p7 > open”。

       

    4. 单击“Finish”。

       

17. 如果采用了SR-IOV虚拟网卡直通方案，则需要删除多余的虚拟网络接口。

    

18. 删除虚拟显卡。

    

    

2.3.2 虚拟机配置调优

虚拟机配置调优需要根据GPU和NUMA的对应关系进行。

**此小节4个虚拟机均需执行，本章节根据GPU与NUMA的对应关系示例vm0对应NUMA 1进行修改。**请参见查询GPU卡PCIe节点信息查询GPU与NUMA的对应关系，请参见获取虚拟机软件包获取虚拟机调优脚本。

1. 编辑虚拟机xml文件。

   virsh edit vm0

2. 按“i”进入编辑模式，在</cputune>中添加如下图所示文本。设置虚拟机vCPU与宿主机的CPU映射关系。

   “cpuset”的值为绑定的宿主机CPU核ID，其中NUMA 0为0-79，NUMA 1为80-159，NUMA 2为160-239，NUMA 3为240-319。

   

   

   上述操作也可使用如下命令完成设置。

   ./setup_vm.sh vm0 --cputune 80,159

3. 在</cputune>下方添加如下所示文本，设置虚拟机与宿主机NUMA的内存绑定。（此处示例为虚拟机绑定了NUMA 1。）

   <numatune>
         <memory mode='strict' nodeset='1'/>
   </numatune>

   

   上述操作也可使用如下命令完成设置。

   ./setup_vm.sh vm0 --numatune 1

4. 在</cputune>上方添加如下所示文本，绑定QEMU模拟器。

   <emulatorpin cpuset='80-159' />

   

   上述操作也可使用如下命令完成设置。

   ./setup_vm.sh vm0 --emulatorpin 80-159

5. 使用内存大页。在如图所示位置添加红框文本。

   <memoryBacking>
        <hugepages/>
   </memoryBacking>

   

   上述操作也可使用如下命令完成设置。

   ./setup_vm.sh vm0 --enable_hugepages

6. 使能CPU拓扑。

   找到“<cpu mode='host-passthrough' check='none'>”元素，补充并修改以下内容，修改示例如下图所示。

   <cpu mode='host-passthrough' check='none'>
     <topology sockets='1' dies='1' clusters='10' cores='4' threads='2'/>
   </cpu>

   

7. 按“Esc”键退出编辑模式，输入**:wq!**并按“Enter”键保存并退出文件。

8. 启动虚拟机。

   

9. 虚拟机内部执行如下指令，回显0-7表示CPU拓扑生效。

   cat /sys/devices/system/cpu/cpu0/topology/cluster_cpus_list

   

10. 执行如下指令使能cluster调度优化。

    echo 1 > /proc/sys/kernel/sched_cluster

    每次虚拟机重启都需要执行该步骤操作使能cluster调度优化，建议将其配置在“~/.bashrc”等同类型文件中，确保每次重启后都会自动执行。

2.3.3 配置虚拟机网络

2.3.3.1 配置虚拟机网卡配置文件

配置虚拟机内部的网卡配置文件，即可打通虚拟机的网络通信。如果使用了SR-IOV方案，那么需要根据本章节操作手动生成虚拟机网卡配置文件。

1. 查看虚拟机网卡名称。

   ip a

   

2. 生成配置文件。

   • 如果在2.2.6-配置宿主机网络章节中选择了SR-IOV网卡直通，则执行如下指令，生成网络配置文件。

     nmcli connection add ifname enp1s0 con-name enp1s0 type ethernet
     cd /etc/sysconfig/network-scripts/
     ls

     如下图所示虚拟机网卡配置文件生成。

     

   • 如果2.2.6-配置宿主机网络中采用的网桥模式，那么虚拟机中会自动生成网络配置文件，文件名和ip a中网卡名称一致，则跳过该步骤。

   如果条件允许，建议使用SR-IOV虚拟网卡方案，采用该方案的虚拟机具有更强的计算性能以及更短的时延。

3. 进入虚拟机配置虚拟机的IPADDR，NETMASK，GATEWAY，DNS，确保ONBOOT=yes。

   虚拟机和宿主机共用NETMASK，GATEWAY，DNS。IPADDR可自定义，需要和网络管理员确认，请不要与局域网内其他的IP地址冲突。

   vi ifcfg-enp1s0

   

   如果配置文件中有下图红框内容，请删除对应内容。

   

4. 重新配置网络连接，建议在virt-manager的Shell中执行，通过SSH远程操作会因为网络配置修改断开连接。

   virt-manager

   

   nmcli connection reload
   nmcli connection down enp1s0
   nmcli connection up enp1s0

   

5. ping网关，SSH远程连接验证配置是否生效，网关在br0网桥的配置文件中可以看到。

   ping 192.168.20.1

   

   同一网段内任意服务器ssh连接虚拟机。

   ssh 192.168.20.150

   

   至此已经实现了虚拟机在服务器局域网内的数据通信，如果希望在外网访问局域网内的该虚拟机，请联系网络管理员按照局域网内服务器的相关配置对虚拟机进行配置即可

2.4 视频流启动环境配置（虚拟机）

在搭建好的虚拟机环境中部署云手机容器环境和视频流容器时，需要根据虚拟机内部CPU以及GPU核数对cfct_video和cfct_config文件做相应调整和修改视频流启动和配置文件。

请参见《Kbox云手机容器 安装指南》的“部署说明”以及《视频流引擎 安装指南》的“软件部署”章节在虚拟机内部署云手机容器环境和运行视频流云手机。

具体操作步骤如下所示：

1. 请参见《视频流引擎 安装指南》的“软件部署”解压缩出cfct_video和cfct_config文件。

2. 修改cfct_config脚本适配虚拟机80核CPU和虚拟机4 GPU节点。

   1. 打开cfct_config脚本。

      vim cfct_config

   2. 按“i”进入编辑模式，增加以下内容。

      VIDEO_CPU_MAP_80CORE_MODE0=(
      "${MODE0_CPUS0_320[0]}"
      "${MODE0_CPUS0_320[1]}"
      "${MODE0_CPUS0_320[2]}"
      "${MODE0_CPUS0_320[3]}"
      "${MODE0_CPUS0_320[4]}"
      "${MODE0_CPUS0_320[5]}"
      "${MODE0_CPUS0_320[6]}"
      "${MODE0_CPUS0_320[7]}"
      "${MODE0_CPUS0_320[8]}"
      "${MODE0_CPUS0_320[9]}"
      "${MODE0_CPUS0_320[10]}"
      "${MODE0_CPUS0_320[11]}"
      "${MODE0_CPUS0_320[12]}"
      "${MODE0_CPUS0_320[13]}"
      "${MODE0_CPUS0_320[14]}"
      "${MODE0_CPUS0_320[15]}"
      "${MODE0_CPUS0_320[16]}"
      "${MODE0_CPUS0_320[17]}"
      "${MODE0_CPUS0_320[18]}"
      "${MODE0_CPUS0_320[19]}"
      "${MODE0_CPUS0_320[20]}"
      "${MODE0_CPUS0_320[21]}"
      "${MODE0_CPUS0_320[22]}"
      "${MODE0_CPUS0_320[23]}"
      "${MODE0_CPUS0_320[24]}"
      "${MODE0_CPUS0_320[25]}"
      "${MODE0_CPUS0_320[26]}"
      "${MODE0_CPUS0_320[27]}"
      "${MODE0_CPUS0_320[28]}"
      "${MODE0_CPUS0_320[29]}"
      "${MODE0_CPUS0_320[30]}"
      "${MODE0_CPUS0_320[31]}"
      "${MODE0_CPUS0_320[32]}"
      "${MODE0_CPUS0_320[33]}"
      "${MODE0_CPUS0_320[34]}"
      "${MODE0_CPUS0_320[35]}"
      "${MODE0_CPUS0_320[36]}"
      "${MODE0_CPUS0_320[37]}"
      "${MODE0_CPUS0_320[38]}"
      )
      VIDEO_CPU_MAP_80CORE_MODE1=(
      "${MODE1_CPUS0_320}"
      )
      VIDEO_GPU_MAP_80CORE=(
      "${GPUS[0]}"
      "${GPUS[1]}"
      "${GPUS[2]}"
      "${GPUS[3]}"
      )

      

   3. 按“Esc”键退出编辑模式，输入**:wq!**并按“Enter”键保存并退出文件。

      上述的配置的CPU核心以及GPU节点仅供参考，请根据实际虚拟机的资源分配以及业务的需要，灵活地调整该配置。

3. 修改cfct_video脚本适配当前虚拟机80核。

   1. 打开cfct_video脚本。

      vim cfct_video

   2. 按“i”进入编辑模式，新增以下内容至elif [ $num_of_cpus -eq 64 ]; then上方。

      elif [ $num_of_cpus -eq 80 ]; then
      if [ ${CPU_BIND_MODE} -eq 0 ]; then
      VIDEO_CPU_MAP=(${VIDEO_CPU_MAP_80CORE_MODE0[*]})
      elif [ ${CPU_BIND_MODE} -eq 1 ]; then
      VIDEO_CPU_MAP=(${VIDEO_CPU_MAP_80CORE_MODE1[*]})
      else
      EXIT_ERROR "CPU_BIND_MODE error: ${CPU_BIND_MODE}"
      fi
      VIDEO_GPU_MAP=(${VIDEO_GPU_MAP_80CORE[*]})

      

   3. 按“Esc”键退出编辑模式，输入**:wq!**并按“Enter”键保存并退出文件。

4. 请参见《视频流引擎 特性指南》的“启动视频流云手机”调用cfct_video脚本即可成功在虚拟机启动视频流容器。

   

2.5 虚拟机拷贝

2.5.1 拷贝说明

• 如果已经按照2.3-虚拟机配置顺序创建了4个虚拟机，则跳过本章节之后的所有操作。

• 如果按照2.3-虚拟机配置创建了1个虚拟机，则使用本章节后续内容拷贝创建虚拟机剩下的3个虚拟机。

  推荐在完成2.2-宿主机环境配置、2.3-虚拟机配置、2.4-视频流启动环境配置（虚拟机）后进行虚拟机的拷贝，可以避免创建新虚拟机时进行大量重复配置。若完成了上述章节，拷贝后的虚拟机仅需对2.3-虚拟机配置中少量配置进行调整后即可正常使用。

2.5.2 拷贝虚拟硬盘与配置文件

本章节提供虚拟机拷贝的详细步骤，包括对虚拟硬盘的拷贝和配置文件的修改。

1. 确认想要拷贝的虚拟硬盘位置。

   virsh dumpxml vm0 | grep "source file"

   

2. 拷贝虚拟硬盘，需要确保存放新虚拟硬盘的硬盘空间足够。

   cd 新虚拟硬盘存放地址(根据情况自行决定)
   cp /var/lib/libvirt/images/vm0.qcow2 vm1.qcow2

3. 拷贝虚拟机配置文件。

   virsh dumpxml vm0 > vm1.xml

4. 修改配置文件。

   1. 打开配置文件。

      vim vm1.xml

   2. 按“i”进入编辑模式，修改“name”，“uuid”和“mac”的值，保证不同虚拟机的name，uuid和mac地址不同即可，同时修改虚拟硬盘地址“source”为2中的地址。

      <name>vm1</name>
      <uuid>dfbd8ad1-34ef-423d-8b9c-f7551654b09f</uuid>

      

      <mac address='52:54:00:be:e7:69' />

      <source file=' /磁盘镜像存放地址/vm1.qcow2' index='2' />

   3. 按“Esc”键退出编辑模式，输入**:wq!**并按“Enter”键保存并退出文件。

5. 创建虚拟机。

   virsh define vm1.xml

   

6. 验证虚拟机创建与否。

   virsh list --all

7. 请参见查询GPU卡PCIe节点信息获取虚拟机绑定NUMA对应的GPU节点。

8. 进入虚拟机删除当前GPU节点。

   virt-manager

   

   

9. 请参见查询GPU卡PCIe节点信息获取当前虚拟机匹配的GPU卡的PCIe节点，再通过“Add Hardware > PCI Host Device > 选择对应节点 > Finish”，配置所有的PCIe节点。

   

10. 如果虚拟机使能SR-IOV网卡直通，需要先删除原虚拟机使用的SR-IOV虚拟网卡。

    

    请参见配置宿主机网络，添加新的SR-IOV虚拟网卡。

    

11. 如果虚拟机使能了磁盘分区直通，需要先删除原虚拟机直通的磁盘分区。

    

    请参见2.3.1-15，添加新的磁盘分区。

    

2.5.3 虚拟机配置调优

由于每个虚拟机分配的资源不一样，除了内存大页的其他调优需要重新配置。

请参见2.3.2-虚拟机配置调优进行虚拟机配置调优。

2.5.4 配置网络

对拷贝后的虚拟机进行网络配置。

1. 进入虚拟机。

   virsh start vm1
   virt-manager

   

2. 修改虚拟机IP地址。

   vi /etc/sysconfig/network-scripts/ifcfg-enp1s0

   

3. 重新配置网络连接。

   nmcli connection reload
   nmcli connection down enp1s0
   nmcli connection up enp1s0

4. ping网关，SSH远程连接验证配置是否生效，网关在br0网桥的配置文件中可以看到。

   ping 192.168.20.1

   

2.5.5 虚拟硬盘扩容

根据场景不同，需要对硬盘进行扩容（不同的游戏对硬盘的占用空间不同）。

1. 确认虚拟硬盘的位置。

   virsh dumpxml <domain>

   

2. 调整虚拟硬盘的空间。

   qemu-img resize /home/VirtualMachine/Disks/oe22.03-lts-sp1-64cores.qcow2 600G

   上述命令将虚拟硬盘空间扩大到600GB。

3. 进入虚拟机调整虚拟机分区大小。

   1. 查看根目录所在分区，后续扩展该分区。

      lsblk

      

   2. 选定指定的磁盘，查看磁盘当前的分区信息。

      parted /dev/sda
      print

      执行print命令后选择修复选项“Fix”。

      

   3. 扩展4号分区。

      resizepart 4 -1

      

4. 按“Ctrl+C”键退出parted后调整文件系统大小。

   resize2fs /dev/sda4