鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

启动前准备

使用Yarn包管理器启动前,需首先进行Hadoop相关配置,配置完成后重新启动Hadoop。

  1. 主节点修改Hadoop配置文件。
    1. 修改“hadoop/yarn-site.xml”文件。
      1. 开启container-executor配置,用户组为“${HADOOP_USER}”,如图所示。
        图1 开启container-executor配置
      2. 配置开启Node Labels特性。
        图2 开启Node Labels
        图3 yarn-site.xml
      3. 重启ResourceManager组件以生效配置。
        • 执行以下命令查询节点列表,确认ResourceManager是否正在运行。
          yarn node -list
        • 执行以下命令停止ResourceManager服务。
          yarn --daemon stop resourcemanager
        • 待ResourceManager服务停止后,执行以下命令重启该服务。
          yarn --daemon start resourcemanager
    2. 修改“hadoop/core-site.xml”文件,代理的用户和用户组均为${HADOOP_USER}。
      图4 core-site.xml
    3. 创建并修改“/etc/hadoop/container-executor.cfg”文件,添加以下内容。
      yarn.nodemanager.linux-container-executor.group=hadoop_user#configured value of yarn.nodemanager.linux-container-executor.group
      banned.users=#comma separated list of users who can not run applications
      min.user.id=0#Prevent other super-users
      allowed.system.users=##comma separated list of system users who CAN run applications
      feature.tc.enabled=false
  2. 将yarn-site.xml、core-site.xml、container-executor.cfg分发至所有节点。并在各个节点执行以下命令修改container-executor权限。
    chmod 6050 $HADOOP_HOME/bin/container-executor
  3. 重启Hadoop。
    执行以下命令进入Hadoop bin目录下,重启Hadoop。
    cd $HADOOP_HOME/sbin
    ./stop-all.sh
    ./start-all.sh

    重启后执行jps命令查看ResourceManager是否启动。若未启动,可查看ResourceManager日志进行分析。若未启动原因为安全模式开启,则可执行以下命令退出安全模式并重启Hadoop服务。

    hadoop dfsadmin -safemode leave
    ./start-all.sh