安装软件

安装OmniShuffle前请先参见环境要求章节获取软件安装包并通过完整性校验。在所有节点安装OmniShuffle并配置相关参数文件。

以下步骤需要在所有节点下执行。

1. 依次进入需要安装的节点，从软件安装包安装获取下载OmniShuffle软件安装包下载到“/home”目录下。

   tar --no-same-owner -zxvf /home/ockadmin/BoostKit-omnishuffle_1.3.0.tar.gz
   cd /home/ockadmin/BoostKit-omnishuffle_1.3.0
   tar --no-same-owner -zxvf omnishuffleUtils_openeuler-aarch64.tar.gz

2. 执行如下命令，打开common_params.sh修改参数。
   1. 进入“omnishuffleUtils/common”目录。

      cd omnishuffleUtils/common

   2. 打开“common_params.sh”文件。

      vi common_params.sh

   3. 按“i”进入编辑模式，在文件中修改以下内容。

      ock_root_path=/home/ockadmin/opt
      spark_version="spark-3.1"

   4. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
3. 进入“bin”目录，安装OmniShuffle。

   cd ../bin
   sh ock_install.sh
   source ~/.bashrc 

4. 修改mf.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明mf.conf。
   1. 进入“/home/ockadmin/opt/ock/conf”目录。

      cd /home/ockadmin/opt/ock/conf

   2. 打开“mf.conf”文件。

      vi mf.conf

   3. 按“i”进入编辑模式，在文件中修改数据目录。

      ock.mf.ip_mask = 192.168.xx.xx-192.168.xx.xx #区间包含所有节点的IP地址
      ock.mf.protocol = tcp
      ock.ucache.rpc.enableAuthentication = false
      ock.ucache.rpc.enableTLS = false
      ock.ucache.rpc.enableAuthorization = false

   4. 删除ock.ucache.rpc.tls.crl.path和ock.ucache.rpc.tls.sdk.crl.path。
   5. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
5. 修改ock.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明ock.conf。
   1. 打开文件。

      vi ock.conf

   2. 按“i”进入编辑模式，在文件中修改数据目录。

      ock.ucache.rpc.transport.protocol = tcp
      ock.ucache.meta.node_lists = xx
      ock.zookeeper.server.url = xx:2181 #xx为zookeeper节点ip
      ock.ucache.rpc.enableAuthentication = false
      ock.ucache.rpc.enableTLS = false
      ock.ucache.rpc.enableAuthorization = false
      ock.zookeeper.security.enable = false
      ock.ucache.rpc.auth.meta.principle.mapping = xx:master #xx为管理节点IP地址和名称
      ock.ucache.server.swap.path = /data/data1/ock_swap,/data/data2/ock_swap,/data/data3/ock_swap,/data/data4/ock_swap,/data/data5/ock_swap,/data/data6/ock_swap,/data/data7/ock_swap,/data/data8/ock_swap,/data/data9/ock_swap,/data/data10/ock_swap,/data/data11/ock_swap,/data/data12/ock_swap #根据挂盘数量填写
      ock.ucache.rpc.openssl.path=/home/ockadmin/opt/ock/ucache/23.0.0/linux-aarch64/lib/common/openssl/libssl.so
      ock.ucache.rpc.crypto.path = /home/ockadmin/opt/ock/ucache/23.0.0/linux-aarch64/lib/common/openssl/libcrypto.so

   3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
      

      • “/home/ockadmin”目录用户可自行定义。
      • ock.ucache.meta.node_lists是管理节点IP地址。
      • ock.zookeeper.server.url是配置ZooKeeper的IP地址。
        ZooKeeper单节点部署，配置示例如下。

        ock.zookeeper.server.url = 192.168.1.100:2181

        ZooKeeper集群部署，配置示例如下。

        ock.zookeeper.server.url = 192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181