启动ESS模式

前提条件

已完成启动前准备。

操作步骤

1. CapacityScheuler配置分区。

   移除capacity-scheduler.xml文件中RSS的配置项，并分发该文件至所有节点。

2. 设置ESS计算节点标签为空，即默认分区，如图1所示。

   yarn rmadmin -replaceLabelsOnNode "agent02="

   图1 ESS计算节点
   

3. ESS启动前配置。
   1. 修改/home/ockadmin/opt/ock/conf/ock.conf文件，切换OCK为ESS模式。

      ock.ucache.rss.mode = false

   2. 配置Yarn启动脚本“/home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/sbin/ock-launch-cluster.sh”中的ock_memory大于mf.conf中的ock.mf.mem_size，并设置分区标签为空。
      ock-launch-cluster.sh示例如下：

      #launch server 所在的Yarn分区标签，修改为ESS模式则需将此处置空
      ock_master_partition_label=""
      ...
      #OCK占用的占用的内存空间，单位为MB
      ock_memory="61440"

      mf.conf示例如下：

      #mf占用的内存空间,单位为bit
      ock.mf.mem_size = 53687091200

   3. 写入所有节点的hostname到“/home/ockadmin/opt/ock/conf/ock_node_list”，示例如下。

      agent01
      agent02
      agent03

      修改完成后，分发该文件至所有节点。

4. 执行启动脚本。

   sh /home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/sbin/ock-launch-cluster.sh

   如图2所示，ESS模式启动。

   图2 启动结果
   

   OCK计算节点启动成功日志。

   图3 日志信息
   

5. 提交Spark-SQL任务。

   任务执行成功后返回如下信息。

   图4 返回信息