鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

启动Hadoop集群

下列内容必须按顺序操作。

  1. 启动ZooKeeper集群。

    分别在agent1、agent2、agent3节点上启动ZooKeeper。

    1
    2
    cd /usr/local/zookeeper/bin
    ./zkServer.sh start
    
  2. 验证是否成功启动ZooKeeper集群。
    使用jps命令查看是否存在QuorumPeerMain进程,存在即启动成功。
    1
    jps | grep Quor
    

  3. 启动JournalNode。

    分别在agent1、agent2、agent3节点上启动JournalNode。

    只在第一次进行格式化操作时,需要执行3-6,完成格式化后,下次启动集群,只需要执行178

    1
    2
    cd /usr/local/hadoop/sbin
    ./hadoop-daemon.sh start journalnode
    
  4. 验证是否成功启动JournalNode。

    使用jps命令查看是否存在JournalNode进程,存在即启动成功。

  5. 格式化HDFS。
    1. 在server1节点上格式化HDFS。
      1
      hdfs namenode -format
      
    2. 格式化后集群会根据core-site.xml配置的hadoop.tmp.dir参数生成目录。

      本文档配置目录为“/home/hadoop_tmp”

  6. 格式化ZKFC。

    在server1节点上格式化ZKFC。

    1
    hdfs zkfc -formatZK
    
  7. 启动HDFS。

    在server1节点上启动HDFS。

    1
    2
    cd /usr/local/hadoop/sbin
    ./start-dfs.sh
    
  8. 启动Yarn。

    在server1节点上启动Yarn。

    1
    2
    cd /usr/local/hadoop/sbin
    ./start-yarn.sh
    
  9. 观察进程是否都正常启动。

    此操作在所有节点上执行,其中server节点应启动的进程以server1的截图为准,agent节点应启动的进程以agent1的截图为准。

    1
    jps