安装软件

安装OmniShuffle Shuffle加速组件前请先参考环境要求章节获取软件安装包并通过完整性校验。请在所有节点安装OmniShuffle Shuffle加速组件并配置相关参数文件。

  • 以下步骤需要在所有节点下执行。
  • 2中的配置项spark_version需与业务实际情况使用版本一致。
  1. 依次进入需要安装的节点，从软件安装包获取获取OmniShuffle Shuffle加速组件软件安装包存放至“/home/ockadmin”目录下，执行以下命令进行解压。

    cd /home/ockadmin
tar --no-same-owner -zxvf /home/ockadmin/BoostKit-omnishuffle_1.7.0.tar.gz
cd /home/ockadmin/BoostKit-omnishuffle_1.7.0
tar --no-same-owner -zxvf omnishuffleUtils_aarch64.tar.gz

  2. 执行如下命令，打开common_params.sh修改参数。

    1. 进入“omniShuffleUtils/common”目录。
      cd omnishuffleUtils/common
    2. 打开“common_params.sh”文件。
      vi common_params.sh
    3. 按“i”进入编辑模式，在文件中修改以下内容。
      ock_root_path=/home/ockadmin/opt
spark_version="spark-3.3"
...
#RSS or ESS，配置RSS或ESS模式。
ock_mode="rss"
...
    4. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

  3. 进入“bin”目录，安装OmniShuffle Shuffle加速组件，请参考3新增OCK_HOME、OCK_VERSION、OCK_BINARY_TYPE环境变量

    cd ../bin
sh ock_install.sh
source ~/.bashrc

  4. 根据部署模式和Spark版本删除安装目录下jars不需要的jar包。

    • RSS模式，进入“/home/ockadmin/opt/ock/jars”目录查看所有jar文件，需和如下内容一致：
      ock-broadcast-sdk-24.0.0.jar
ock-launch-cluster-24.0.0.jar
ock-Shuffle-manager-24.0.0-for-spark-3.3.jar # 3.3跟Spark版本一致
ock-Shuffle-sdk-24.0.0.jar
zk-server-auth-plugin-tls-24.0.0-assembly.jar
zk-server-auth-plugin-keytab-24.0.0-assembly.jar
    • ESS模式，进入“/home/ockadmin/opt/ock/jars”目录查看所有jar文件，需和如下内容一致：
      ock-broadcast-sdk-24.0.0.jar
ock-launch-cluster-24.0.0.jar
ock-Shuffle-manager-24.0.0-for-spark-3.3.jar # 3.3跟Spark版本一致
ock-Shuffle-sdk-24.0.0.jar
zk-server-auth-plugin-tls-24.0.0-assembly.jar
zk-server-auth-plugin-keytab-24.0.0-assembly.jar

    这里的jar包用户是ockadmin，请保证提交spark任务的用户有改jar包的操作权限，请至少配置为550。

  5. 修改mf.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明mf.conf。

    1. 进入“/home/ockadmin/opt/ock/conf”目录。
      cd /home/ockadmin/opt/ock/conf
    2. 打开“mf.conf”文件。
      vi mf.conf
    3. 按“i”进入编辑模式，在文件中修改数据目录。
      ock.mf.ip_mask = 192.168.xx.xx-192.168.xx.xx #区间包含所有节点的IP地址
ock.mf.protocol = tcp
ock.ucache.rpc.enableAuthentication = false
ock.ucache.rpc.enableTLS = false
ock.ucache.rpc.enableAuthorization = false
    4. 删除ock.ucache.rpc.tls.crl.path和ock.ucache.rpc.tls.sdk.crl.path。
    5. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

  6. 修改ock.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明ock.conf。

    1. 打开ock.conf文件。
      vi ock.conf
    2. 按“i”进入编辑模式，在文件中修改数据目录。
      ock.ucache.rpc.transport.protocol = tcp
ock.ucache.rpc.shuffle_server.port = 3891
ock.ucache.master.ip = 192.168.xx.xx

ock.ucache.rpc.enableAuthentication = false
ock.ucache.rpc.enableTLS = false
ock.ucache.rpc.enableAuthorization = false
ock.zookeeper.security.enable = false

ock.ucache.server.swap.threshold.higher_watermark = 60
ock.ucache.server.swap.threshold.lower_watermark = 20
ock.ucache.server.swap.path = /data/data1/ock_swap,/data/data2/ock_swap,/data/data3/ock_swap,/data/data4/ock_swap //根据挂盘数量填写，RSS模式推荐挂载NVMe盘
ock.ucache.rpc.openssl.path=/home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/lib/common/openssl/libssl.so
ock.ucache.rpc.crypto.path = /home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/lib/common/openssl/libcrypto.so

ock.ucache.rss.mode = false  // ESS模式配置为false，RSS模式配置为true
ock.ucache.rpc.transport.ipfilter = 192.168.xx.xx/24
    3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
      • “/home/ockadmin”目录用户可自行定义。
      • ock.ucache.rpc.transport.ipfilter为IP地址过滤器，以集群节点的IP地址为192.168.1.x为例，该处设置为192.168.0.1/24。

父主题： 安装特性