Hadoop配置
Hadoop可以在单节点上以伪分布式的方式运行,Hadoop进程以分离的Java进程来运行,节点既作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。
配置文件位于hadoop-3.1.2/etc/hadoop中,伪分布式需要修改2个配置文件core-site.xml和hdfs-site.xml。Hadoop的配置文件是xml格式,每个配置以声明property的name和value的方式来实现。
操作步骤
- 使用PuTTY工具,以root用户登录服务器。
- 执行以下命令进入Hadoop安装包所在目录。
cd /path/to/HADOOP
- 执行以下命令解压Hadoop安装包。
tar -xvf hadoop-3.1.2.tar.gz
- 执行以下命令进入解压后的目录。
cd hadoop-3.1.2
- 执行以下命令在hadoop-3.1.2文件夹中创建下面4个文件夹作为hdfs文件路径。
mkdir hdfs mkdir hdfs/tmp mkdir hdfs/name mkdir hdfs/data
- 执行以下命令进入配置文件目录。
cd etc/hadoop/
- 执行以下命令修改“core-site.xml”文件。
- 打开文件。
vi core-site.xml
- 按“i”进入编辑模式,编辑“core-site.xml”文件。
修改前:
<configuration> </configuration>
修改后:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/path/to/HADOOP/hadoop-3.1.2/hdfs/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://armnode2:9000</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property> </configuration>
“armnode2”为安装环境的主机名,用户根据实际情况进行配置,可以使用“hostname”查询安装环境的主机名。
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 打开文件。
- 执行以下命令修改“hdfs-site.xml”配置文件。
- 打开文件。
vi hdfs-site.xml
- 按“i”进入编辑模式,编辑“hdfs-site.xml”文件。
修改前:
<configuration> </configuration>
修改后:
<configuration> <property> <name>dfs.namenode.http-address</name> <value>armnode2:50070</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/path/to/HADOOP/hadoop-3.1.2/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/path/to/HADOOP/hadoop-3.1.2/hdfs/data</value> </property> <property> <name>dfs.webmnt.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
“armnode2”为安装环境的主机名,用户根据实际情况进行配置,可以使用“hostname”查询安装环境的主机名。
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 打开文件。
- 执行以下命令修改“workers”配置文件。
- 打开文件。
vi workers
- 按“i”进入编辑模式,编辑“workers”文件,新增安装环境的主机名。
armnode2
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 打开文件。
- 执行以下命令新建“master”和“slaves”配置文件。
cd /path/to/HADOOP/hadoop-3.1.2/etc/hadoop cp workers master cp workers slaves
父主题: 编译和安装