安装软件

安装OmniShuffle Shuffle加速前请先参见环境要求章节获取软件安装包并通过完整性校验。在所有节点安装OmniShuffle Shuffle加速并配置相关参数文件。

以下步骤需要在所有节点下执行。

  1. 依次进入需要安装的节点，从软件安装包安装获取下载OmniShuffle Shuffle加速软件安装包下载到“/home/ockadmin”目录下，执行以下命令进行解压。

    tar --no-same-owner -zxvf /home/ockadmin/BoostKit-omnishuffle_1.4.0.tar.gz
cd /home/ockadmin/BoostKit-omnishuffle_1.4.0
tar --no-same-owner -zxvf omnishuffleUtils_openeuler-aarch64.tar.gz

  2. 执行如下命令，打开common_params.sh修改参数。

    1. 进入“omnishuffleUtils/common”目录。
      cd omnishuffleUtils/common
    2. 打开“common_params.sh”文件。
      vi common_params.sh
    3. 按“i”进入编辑模式，在文件中修改以下内容。
      ock_root_path=/home/ockadmin/opt
spark_version="spark-3.1"
    4. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

  3. 进入“bin”目录，安装OmniShuffle Shuffle加速。

    cd ../bin
sh ock_install.sh
source ~/.bashrc

  4. 修改mf.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明mf.conf。

    1. 进入“/home/ockadmin/opt/ock/conf”目录。
      cd /home/ockadmin/opt/ock/conf
    2. 打开“mf.conf”文件。
      vi mf.conf
    3. 按“i”进入编辑模式，在文件中修改数据目录。
      ock.mf.ip_mask = 192.168.xx.xx-192.168.xx.xx #区间包含所有节点的IP地址
ock.mf.protocol = tcp
ock.ucache.rpc.enableAuthentication = false
ock.ucache.rpc.enableTLS = false
ock.ucache.rpc.enableAuthorization = false
    4. 删除ock.ucache.rpc.tls.crl.path和ock.ucache.rpc.tls.sdk.crl.path。
    5. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

  5. 修改ock.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明ock.conf。

    1. 打开文件。
      vi ock.conf
    2. 按“i”进入编辑模式，在文件中修改数据目录。
      ock.ucache.rpc.transport.protocol = tcp
ock.ucache.meta.node_lists = xx
ock.zookeeper.server.url = xx:2181 #xx为zookeeper节点ip
ock.ucache.rpc.enableAuthentication = false
ock.ucache.rpc.enableTLS = false
ock.ucache.rpc.enableAuthorization = false
ock.zookeeper.security.enable = false
ock.ucache.rpc.auth.meta.principle.mapping = xx:master #xx为管理节点IP地址和名称
ock.ucache.server.swap.path = /data/data1/ock_swap,/data/data2/ock_swap,/data/data3/ock_swap,/data/data4/ock_swap,/data/data5/ock_swap,/data/data6/ock_swap,/data/data7/ock_swap,/data/data8/ock_swap,/data/data9/ock_swap,/data/data10/ock_swap,/data/data11/ock_swap,/data/data12/ock_swap #根据挂盘数量填写
ock.ucache.rpc.openssl.path=/home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/lib/common/openssl/libssl.so
ock.ucache.rpc.crypto.path = /home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/lib/common/openssl/libcrypto.so
    3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
      • “/home/ockadmin”目录用户可自行定义。
      • ock.ucache.meta.node_lists是管理节点IP地址。
      • ock.zookeeper.server.url是配置ZooKeeper的IP地址。
        ZooKeeper单节点部署，配置示例如下。
        ock.zookeeper.server.url = 192.168.1.100:2181

        ZooKeeper集群部署，配置示例如下。

        ock.zookeeper.server.url = 192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181

父主题： 安装特性