启动ESS模式
启动ESS模式成功后,可使用ResourceManager Web UI查看启动结果,并提交Spark-SQL任务进行验证。
操作步骤
- CapacityScheuler配置分区。
移除capacity-scheduler.xml文件中RSS的配置项,并分发该文件至所有节点。
- 设置ESS计算节点标签为空,即默认分区,如图1所示。
yarn rmadmin -replaceLabelsOnNode "agent02="
- ESS启动前配置。
- 修改“/home/ockadmin/opt/ock/conf/ock.conf”文件,切换OCK为ESS模式。
ock.ucache.rss.mode = false
- 配置Yarn启动脚本“/home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/sbin/ock-launch-cluster.sh”中的ock_memory大于mf.conf中的ock.mf.mem_size,并设置分区标签为空。
ock-launch-cluster.sh示例如下:
#launch server 所在的Yarn分区标签,修改为ESS模式则需将此处置空 ock_master_partition_label="" ... #OCK占用的占用的内存空间,单位为MB ock_memory="61440"
mf.conf示例如下:
#mf占用的内存空间,单位为bit ock.mf.mem_size = 53687091200
- 写入所有节点的hostname到“/home/ockadmin/opt/ock/conf/ock_node_list”,示例如下。
agent01 agent02 agent03
修改完成后,分发该文件至所有节点。
- 修改“/home/ockadmin/opt/ock/conf/ock.conf”文件,切换OCK为ESS模式。
- 执行启动脚本。
sh /home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/sbin/ock-launch-cluster.sh
如图2所示,ESS模式启动。
OCK计算节点启动成功日志。
图3 日志信息 - 提交Spark-SQL任务。
任务执行成功后返回如下信息。
图4 返回信息
父主题: Yarn启动