中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

Hadoop配置

Hadoop可以在单节点上以伪分布式的方式运行,Hadoop进程以分离的Java进程来运行,节点既作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。

配置文件位于hadoop-3.1.2/etc/hadoop中,伪分布式需要修改2个配置文件core-site.xml和hdfs-site.xml。Hadoop的配置文件是xml格式,每个配置以声明property的name和value的方式来实现。

操作步骤

  1. 使用PuTTY工具,以root用户登录服务器。
  2. 执行以下命令进入Hadoop安装包所在目录。
    cd /path/to/HADOOP
  3. 执行以下命令解压Hadoop安装包。
    tar -xvf hadoop-3.1.2.tar.gz
  4. 执行以下命令进入解压后的目录。
    cd hadoop-3.1.2
  5. 执行以下命令在hadoop-3.1.2文件夹中创建下面4个文件夹作为hdfs文件路径。
    mkdir hdfs
    mkdir hdfs/tmp
    mkdir hdfs/name
    mkdir hdfs/data
  6. 执行以下命令进入配置文件目录。
    cd etc/hadoop/
  7. 执行以下命令修改“core-site.xml”文件。
    1. 打开文件。
      vi core-site.xml
    2. 按“i”进入编辑模式,编辑“core-site.xml”文件。

      修改前:

       <configuration>
       </configuration>

      修改后:

      <configuration>
        <property>
              <name>hadoop.tmp.dir</name>
              <value>file:/path/to/HADOOP/hadoop-3.1.2/hdfs/tmp</value>
              <description>Abase for other temporary directories.</description>
         </property>
         <property>
              <name>io.file.buffer.size</name>
              <value>4096</value>
         </property>
         <property>
              <name>fs.defaultFS</name>
              <value>hdfs://armnode2:9000</value>
         </property>
         <property>
              <name>fs.trash.interval</name>
              <value>1440</value>
         </property>
      </configuration>

      “armnode2”为安装环境的主机名,用户根据实际情况进行配置,可以使用“hostname”查询安装环境的主机名。

    3. 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
  8. 执行以下命令修改“hdfs-site.xml”配置文件。
    1. 打开文件。
      vi hdfs-site.xml
    2. 按“i”进入编辑模式,编辑“hdfs-site.xml”文件。

      修改前:

      <configuration>
      </configuration>

      修改后:

      <configuration>
         <property>
      <name>dfs.namenode.http-address</name>
      <value>armnode2:50070</value>
      </property>
      <property>
      <name>dfs.replication</name>
      <value>1</value>
      </property>
      <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/path/to/HADOOP/hadoop-3.1.2/hdfs/name</value>
      </property>
      <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/path/to/HADOOP/hadoop-3.1.2/hdfs/data</value>
      </property>
      <property>
      <name>dfs.webmnt.enabled</name>
      <value>true</value>
      </property>
      <property>
      <name>dfs.permissions</name>
      <value>false</value>
      </property>
      </configuration>

      “armnode2”为安装环境的主机名,用户根据实际情况进行配置,可以使用“hostname”查询安装环境的主机名。

    3. 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
  9. 执行以下命令修改“workers”配置文件。
    1. 打开文件。
      vi workers
    2. 按“i”进入编辑模式,编辑“workers”文件,新增安装环境的主机名。
      armnode2
    3. 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
  10. 执行以下命令新建“master”“slaves”配置文件。
    cd /path/to/HADOOP/hadoop-3.1.2/etc/hadoop
    cp workers master
    cp workers slaves