启动前准备
使用Yarn包管理器启动前,需首先进行Hadoop相关配置,配置完成后重新启动Hadoop。
- 主节点修改Hadoop配置文件。
- 修改“hadoop/yarn-site.xml”文件。
- 开启container-executor配置,用户组为“${HADOOP_USER}”,如图所示。
图1 开启container-executor配置
- 配置开启Node Labels特性。
图2 开启Node Labels图3 yarn-site.xml
- 重启ResourceManager组件以生效配置。
- 执行以下命令查询节点列表,确认ResourceManager是否正在运行。
yarn node -list
- 执行以下命令停止ResourceManager服务。
yarn --daemon stop resourcemanager
- 待ResourceManager服务停止后,执行以下命令重启该服务。
yarn --daemon start resourcemanager
- 执行以下命令查询节点列表,确认ResourceManager是否正在运行。
- 开启container-executor配置,用户组为“${HADOOP_USER}”,如图所示。
- 修改“hadoop/core-site.xml”文件,代理的用户和用户组均为${HADOOP_USER}。
图4 core-site.xml
- 创建并修改“/etc/hadoop/container-executor.cfg”文件,添加以下内容。
yarn.nodemanager.linux-container-executor.group=hadoop_user#configured value of yarn.nodemanager.linux-container-executor.group banned.users=#comma separated list of users who can not run applications min.user.id=0#Prevent other super-users allowed.system.users=##comma separated list of system users who CAN run applications feature.tc.enabled=false
- 修改“hadoop/yarn-site.xml”文件。
- 将yarn-site.xml、core-site.xml、container-executor.cfg分发至所有节点。并在各个节点执行以下命令修改container-executor权限。
chmod 6050 $HADOOP_HOME/bin/container-executor
- 重启Hadoop。执行以下命令进入Hadoop bin目录下,重启Hadoop。
cd $HADOOP_HOME/sbin ./stop-all.sh ./start-all.sh
重启后执行jps命令查看ResourceManager是否启动。若未启动,可查看ResourceManager日志进行分析。若未启动原因为安全模式开启,则可执行以下命令退出安全模式并重启Hadoop服务。
hadoop dfsadmin -safemode leave ./start-all.sh
父主题: Yarn启动