--- title: 启动软件 description: "启动OmniShuffle支持通过SmartKit工具直接启动或通过Yarn启动的方式，推荐使用直接启动方式。通过Yarn启动的OmniShuffle，当OmniShuffle因故障进程退出后，过段时间Yarn会把OmniShuffle自动启动起来，但是通过Yarn启动OmniShuffle时，需要配置LinuxContainerExecutor。官方部署LinuxContainerExecutor要求启用suid，请自行评估可能会带来的安全风险，并进行必要的安全措施。" url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2300/bds/kunpengbds_omniruntime_20_0137.html sourcePath: /source/zh/kunpengboostkithistory/2300/bds/kunpengbds_omniruntime_20_0137.html indexId: e642372372b30dc9796ac5672e34824081286650f5537089f6b1c57bdd95488678 --- # 启动软件 启动OmniShuffle支持通过SmartKit工具直接启动或通过Yarn启动的方式，推荐使用直接启动方式。通过Yarn启动的OmniShuffle，当OmniShuffle因故障进程退出后，过段时间Yarn会把OmniShuffle自动启动起来，但是通过Yarn启动OmniShuffle时，需要配置LinuxContainerExecutor。官方部署LinuxContainerExecutor要求启用suid，请自行评估可能会带来的安全风险，并进行必要的安全措施。 关于配置LinuxContainerExecutor的详细信息，请参见Hadoop官方网站(https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/SecureContainer.html)。 #### 通过SmartKit工具直接启动 如果停止启动间隔超过两分钟，用户不需要手动清除“/meta”和“/mf”。 1. 进入zk。 1 zkCli.sh 2. 检查ZooKeeper是否已经自动清除并删除“/meta”和“/mf”。 1 2 ls /mf ls /meta 若未自动清除，则需要手动执行删除“/mf”和“/meta”。 1 2 deletall /mf deletall /meta 3. 配置业务流，选择“执行命令”，导入start.json文件，json文件详情请参见start.json。将json文件说明中的内容复制并保存为start.json文件。 4. 单击“执行业务流”。 5. 检查是否执行成功。 #### 通过Yarn启动 管理节点单独启动OmniShuffle，Yarn管理计算节点OmniShuffle生命周期。 1. 在管理节点启动OmniShuffle。 使用OmniShuffle自带单节点脚本ock-start-ockd.sh启动OmniShuffle，脚本路径：“$OCK_HOME/ucache/23.0.0/linux-aarch64/sbin/”。 2. 检查Yarn配置。 a. 检查ockadmin用户~/.hadooprc，Yarn启动用户为ockadmin。 ``` vi ~ /.hadooprc ``` b. 按“i”进入编辑模式，检查如下内容，若没有则新增以下内容。 ``` export HADOOP_USER_NAME=ockadmin export HDFS_DATANODE_USER=ockadmin export HDFS_NAMENODE_USER=ockadmin export HDFS_SECONDARYNAMENODE_USER=ockadmin export YARN_RESOURCEMANAGER_USER=ockadmin export YARN_NODEMANAGER_USER=ockadmin ``` c. yarn LinuxContainerExecutor配置，参考Hadoop官网配置： https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/SecureContainer.html(https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/SecureContainer.html) 。 d. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。 3. 在计算节点上，配置OmniShuffle节点信息文件（若没有该文件，新建即可）。 ``` $OCK_HOME /conf/ock_node_list ``` 将启动OmniShuffle的节点机器名称配置到信息文件中（不包含管理节点）。 例如： 4. 可选：若需要配置Yarn启动OmniShuffle失败后的重试次数与时间间隔，可在ock-start-ockd-by-yarn.sh文件中进行修改。参数配置项说明参见ock-start-ockd-by-yarn.sh。 5. 修改运行脚本ock-launch-cluster.sh。 脚本路径：“$OCK_HOME/ucache/23.0.0/linux-aarch64/sbin/ock-launch-cluster.sh”，启动脚本配置参考如下。参数配置项说明参见ock-launch-cluster.sh。 “ock_memory”参数取mf内存的110%容量和mf内存加上10GB两者之间的最大值，包含自身运行内存。如果“ock_memory”参数配置的内存小于mf内存，会导致OCK启动失败。 同一节点运行多个Yarn应用管理时，请修改appid文件名称，用于stop脚本关停识别。 6. 使用ockadmin用户运行脚本启动OmniShuffle。 ``` sh $OCK_HOME /ucache/23.0.0/linux-aarch64/sbin/ock-launch-cluster.sh ``` 可查看“ock/logs/”文件夹下的ock-launch-cluster.log文件日志，查看Shuffle加速启动申请是否提交成功。