启动Hadoop集群

下列内容必须按顺序操作。

  1. 启动ZooKeeper集群。

    分别在agent1、agent2、agent3节点上启动ZooKeeper。

    1
    2
    cd /usr/local/zookeeper/bin
    ./zkServer.sh start
    

  2. 验证是否成功启动ZooKeeper集群。

    使用jps命令查看是否存在QuorumPeerMain进程,存在即启动成功。
    1
    jps | grep Quor
    

  3. 启动JournalNode。

    分别在agent1、agent2、agent3节点上启动JournalNode。

    只在第一次进行格式化操作时,需要执行3-6,完成格式化后,下次启动集群,只需要执行178

    1
    2
    cd /usr/local/hadoop/sbin
    ./hadoop-daemon.sh start journalnode
    

  4. 验证是否成功启动JournalNode。

    使用jps命令查看是否存在JournalNode进程,存在即启动成功。

  5. 格式化HDFS。

    1. 在server1节点上格式化HDFS。
      1
      hdfs namenode -format
      
    2. 格式化后集群会根据core-site.xml配置的hadoop.tmp.dir参数生成目录。

      本文档配置目录为“/home/hadoop_tmp”

  6. 格式化ZKFC。

    在server1节点上格式化ZKFC。

    1
    hdfs zkfc -formatZK
    

  7. 启动HDFS。

    在server1节点上启动HDFS。

    1
    2
    cd /usr/local/hadoop/sbin
    ./start-dfs.sh
    

  8. 启动Yarn。

    在server1节点上启动Yarn。

    1
    2
    cd /usr/local/hadoop/sbin
    ./start-yarn.sh
    

  9. 观察进程是否都正常启动。

    此操作在所有节点上执行,其中server节点应启动的进程以server1的截图为准,agent节点应启动的进程以agent1的截图为准。

    1
    jps