鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

启动OmniShuffle Shuffle加速

  • OmniShuffle Shuffle加速进程拉起支持脚本直接拉起与Yarn拉起方式,推荐直接拉起方式。
  • 使用Yarn拉起方式时Yarn需做LinuxContainerExecutor配置,请参见Hadoop官网配置。官方部署中要求开启suid,可能带来安全的风险请自行评估。

SmartKit工具直接拉起方式

如果停止启动间隔超过两分钟,用户不需要手动清除“/meta”“/mf”

  1. 进入zk。
    1
    zkCli.sh
    
  2. 检查ZooKeeper是否已经自动清除并删除“/meta”“/mf”
    1
    2
    ls /mf
    ls /meta
    

    若未自动清除,则需要手动执行删除“/mf”“/meta”

    1
    2
    deletall /mf
    deletall /meta
    
  3. 配置业务流,选择执行命令,导入start.json文件,json文件详情请参见start.json。将json文件说明中的内容复制保存为start.json文件。

  4. 单击“执行业务流”

  5. 检查是否执行成功。

Yarn方式

管理节点单独启动OmniShuffle Shuffle加速,Yarn管理计算节点OmniShuffle Shuffle加速生命周期。

  1. 在管理节点启动OmniShuffle Shuffle加速。

    使用OmniShuffle Shuffle加速自带单节点脚本ock-start-ockd.sh启动OmniShuffle,脚本路径:“$OCK_HOME/ucache/23.0.0/linux-aarch64/sbin/”。

  2. 检查Yarn配置。
    1. 检查ockadmin用户~/.hadooprc,Yarn启动用户为ockadmin。
      vim ~/.hadooprc
    2. “i”进入编辑模式,检查如下内容,若没有则新增以下内容。
      export HADOOP_USER_NAME=ockadmin
      export HDFS_DATANODE_USER=ockadmin
      export HDFS_NAMENODE_USER=ockadmin
      export HDFS_SECONDARYNAMENODE_USER=ockadmin
      export YARN_RESOURCEMANAGER_USER=ockadmin
      export YARN_NODEMANAGER_USER=ockadmin
    3. yarn LinuxContainerExecutor配置,参考Hadoop官网配置:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/SecureContainer.html
    4. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。
  3. 在计算节点上,配置OmniShuffle Shuffle加速节点信息文件(若没有该文件,新建即可)。
    $OCK_HOME/conf/ock_node_list

    将启动OmniShuffle Shuffle加速的节点机器名称配置到信息文件中(不包含管理节点)。

    例:

  4. 可选:若需要配置Yarn启动OmniShuffle Shuffle加速失败后的重试次数与时间间隔,可在ock-start-ockd-by-yarn.sh文件中进行修改。参数配置项说明参见ock-start-ockd-by-yarn.sh
  5. 修改运行脚本ock-launch-cluster.sh。

    脚本路径:“$OCK_HOME/ucache/23.0.0/linux-aarch64/sbin/ock-launch-cluster.sh”,启动脚本配置参考如下。参数配置项说明参见ock-launch-cluster.sh

    • 其中,“ock_memory”参数取mf内存的110%容量和mf内存加上10GB两者之间的最大值,包含自身运行内存。如果“ock_memory”参数配置的内存小于mf内存,会导致OCK启动失败。
    • 同一节点运行多个Yarn应用管理时,请修改appid文件名称,用于stop脚本关停识别。
  6. 使用ock用户运行脚本启动OmniShuffle Shuffle加速。
    sh $OCK_HOME/ucache/23.0.0/linux-aarch64/sbin/ock-launch-cluster.sh

    可查看“ock/logs/”文件夹下的ock-launch-cluster.log文件日志,查看OmniShuffle Shffle加速启动申请是否提交成功。