启动软件
启动OmniShuffle支持通过SmartKit工具直接启动或通过Yarn启动的方式,推荐使用直接启动方式。通过Yarn启动的OmniShuffle,当OmniShuffle因故障进程退出后,过段时间Yarn会把OmniShuffle自动启动起来,但是通过Yarn启动OmniShuffle时,需要配置LinuxContainerExecutor。官方部署LinuxContainerExecutor要求启用suid,请自行评估可能会带来的安全风险,并进行必要的安全措施。
关于配置LinuxContainerExecutor的详细信息,请参见Hadoop官方网站。
通过SmartKit工具直接启动
如果停止启动间隔超过两分钟,用户不需要手动清除“/meta”和“/mf”。
- 进入zk。
1
zkCli.sh
- 检查ZooKeeper是否已经自动清除并删除“/meta”和“/mf”。
1 2
ls /mf ls /meta
若未自动清除,则需要手动执行删除“/mf”和“/meta”。
1 2
deletall /mf deletall /meta
- 配置业务流,选择start.json。将json文件说明中的内容复制并保存为start.json文件。 ,导入start.json文件,json文件详情请参见
- 单击“执行业务流”。
- 检查是否执行成功。
通过Yarn启动
管理节点单独启动OmniShuffle,Yarn管理计算节点OmniShuffle生命周期。
- 在管理节点启动OmniShuffle。
使用OmniShuffle自带单节点脚本ock-start-ockd.sh启动OmniShuffle,脚本路径:“$OCK_HOME/ucache/23.0.0/linux-aarch64/sbin/”。
- 检查Yarn配置。
- 检查ockadmin用户~/.hadooprc,Yarn启动用户为ockadmin。
vi ~/.hadooprc
- 按“i”进入编辑模式,检查如下内容,若没有则新增以下内容。
export HADOOP_USER_NAME=ockadmin export HDFS_DATANODE_USER=ockadmin export HDFS_NAMENODE_USER=ockadmin export HDFS_SECONDARYNAMENODE_USER=ockadmin export YARN_RESOURCEMANAGER_USER=ockadmin export YARN_NODEMANAGER_USER=ockadmin
- yarn LinuxContainerExecutor配置,参考Hadoop官网配置:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/SecureContainer.html。
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 检查ockadmin用户~/.hadooprc,Yarn启动用户为ockadmin。
- 在计算节点上,配置OmniShuffle节点信息文件(若没有该文件,新建即可)。
$OCK_HOME/conf/ock_node_list
将启动OmniShuffle的节点机器名称配置到信息文件中(不包含管理节点)。
例如:
- 可选:若需要配置Yarn启动OmniShuffle失败后的重试次数与时间间隔,可在ock-start-ockd-by-yarn.sh文件中进行修改。参数配置项说明参见ock-start-ockd-by-yarn.sh。
- 修改运行脚本ock-launch-cluster.sh。
脚本路径:“$OCK_HOME/ucache/23.0.0/linux-aarch64/sbin/ock-launch-cluster.sh”,启动脚本配置参考如下。参数配置项说明参见ock-launch-cluster.sh。
- “ock_memory”参数取mf内存的110%容量和mf内存加上10GB两者之间的最大值,包含自身运行内存。如果“ock_memory”参数配置的内存小于mf内存,会导致OCK启动失败。
- 同一节点运行多个Yarn应用管理时,请修改appid文件名称,用于stop脚本关停识别。
- 使用ockadmin用户运行脚本启动OmniShuffle。
sh $OCK_HOME/ucache/23.0.0/linux-aarch64/sbin/ock-launch-cluster.sh
可查看“ock/logs/”文件夹下的ock-launch-cluster.log文件日志,查看Shffle加速启动申请是否提交成功。
父主题: SmartKit方式安装