鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

配置部署环境

在多个节点上配置部署环境,为后续部署步骤提供标准化的运行环境。

  1. 依次登录所有节点,将节点的主机名分别修改为server1、agent1、agent2、agent3。
    hostnamectl set-hostname 主机名 --static
  2. 登录所有节点,添加集群所有节点的“地址-主机名”映射关系。
    1. 打开“/etc/hosts”文件。
      1
      vi /etc/hosts
      
    2. “i”进入编辑模式,在hosts文件中添加以下内容,请根据实际情况修改IP地址。
      1
      2
      3
      4
      IPaddress1 server1
      IPaddress2 agent1
      IPaddress3 agent2
      IPaddress4 agent3
      
    3. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。
  3. 登录所有节点,关闭防火墙。
    1
    2
    systemctl stop firewalld.service
    systemctl disable firewalld.service
    
  4. 登录所有节点,配置SSH免密登录。
    1. 生成密钥,遇到提示时,按“Enter”
      1
      ssh-keygen -t rsa
      
    2. 在每台机器上配置SSH免密登录(包括配置自身节点的免密)。
      1
      ssh-copy-id -i ~/.ssh/id_rsa.pub root@节点IP
      
  5. 登录所有节点,安装JDK。
    1. 下载JDK并解压到“/usr/local”目录。
      1
      2
      3
      4
      wget https://mirror.iscas.ac.cn/kunpeng/archive/compiler/bisheng_jdk/bisheng-jdk-8u262-linux-aarch64.tar.gz
      tar -zxf bisheng-jdk-8u262-linux-aarch64.tar.gz -C /usr/local
      cd /usr/local
      ln -s /usr/local/bisheng-jdk1.8.0_262 java
      
    2. 将解压后的JDK目录的所属用户、所属用户组变更为“root”。
      1
      2
      chown -R root /usr/local/bisheng-jdk1.8.0_262
      chgrp -R root /usr/local/bisheng-jdk1.8.0_262
      
    3. 配置环境变量。
      1. 打开“/etc/profile”文件。
        1
        vi /etc/profile
        
      2. “i”进入编辑模式,添加以下内容。
        1
        2
        export JAVA_HOME=/usr/local/java
        export PATH=$JAVA_HOME/bin:$PATH
        
      3. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。
    4. 使环境变量生效。
      1
      source /etc/profile
      
    5. 检查OpenJDK是否安装成功。
      1
      java -version
      

      回显如下所示即为安装成功。

  6. 登录所有节点,安装Scala。
    1. 获取Scala的软件包scala-2.12.10.tgz并放置于server1节点的“/usr/local”目录,并解压。
      1
      tar -zvxf scala-2.12.10.tgz
      
    2. 创建软链接。
      1
      ln -s scala-2.12.10 scala
      
    3. 打开“/etc/profile”
      1
      vi /etc/profile
      
    4. “i”进入编辑模式,文件底部添加环境变量,如下所示。
      1
      2
      export SCALA_HOME=/usr/local/scala
      export PATH=$SCALA_HOME/bin:$PATH
      
    5. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。
    6. 使环境变量生效。
      1
      source /etc/profile
      
  7. 部署ZooKeeper。详细操作步骤请参见《ZooKeeper 部署指南》的部署ZooKeeper~运行和验证
  8. 部署Hadoop。详细操作步骤请参见《Hadoop 部署指南》的编译并配置Hadoop~验证Hadoop