---
title: 安装OmniShuffle
description: "请在所有节点执行安装步骤安装OmniShuffle Shuffle加速组件并配置相关参数文件。"
url: https://www.hikunpeng.com/document/detail/zh/omniruntime/omnishuffle/kunpengbds_omniruntime_20_0313.html
sourcePath: /source/zh/omniruntime/omnishuffle/kunpengbds_omniruntime_20_0313.html
indexId: e3d715a773a3275779111742bbc7a35ff8c10b2686a182cbaf24d98ded23e43f70
---
# 安装OmniShuffle

请在所有节点执行安装步骤安装OmniShuffle Shuffle加速组件并配置相关参数文件。

1. 请参见表4获取软件包BoostKit-omniruntime_1.7.0.zip。
2. 依次进入需要安装的节点，获取OmniShuffle Shuffle加速组件软件安装包BoostKit-omniruntime_1.7.0.zip存放至“/home/ockadmin”目录下，执行以下命令进行解压。

```
cd /home/ockadmin
unzip BoostKit-omniruntime_1.7.0.zip
tar --no-same-owner -zxvf /home/ockadmin/BoostKit-omnishuffle_1.9.0.tar.gz
cd /home/ockadmin/BoostKit-omnishuffle_1.9.0
tar --no-same-owner -zxvf omnishuffleUtils_aarch64.tar.gz
```


3. 执行如下命令，打开common_params.sh修改参数。

  a. 进入“omniShuffleUtils/common”目录。

```
cd omnishuffleUtils/common
```


  b. 打开“common_params.sh”文件。

```
vi common_params.sh
```


  c. 按“i”进入编辑模式，在文件中修改以下内容。

```
ock_root_path=/home/ockadmin/opt
spark_version="spark-3.3"
#RSS or ESS，配置RSS或ESS模式。
ock_mode="rss"
```


    spark_version：spark版本号。用户需要修改该配置项取值与业务实际情况使用版本一致。

  d. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
4. 进入“bin”目录，安装OmniShuffle Shuffle加速组件，请参见3新增OCK_HOME、OCK_VERSION、OCK_BINARY_TYPE环境变量。

```
cd ../bin
sh ock_install.sh
source
~
/.bashrc
```


5. 根据部署模式和Spark版本，删除安装目录下jars不需要的JAR包。

  - RSS模式
    进入“/home/ockadmin/opt/ock/jars”
    目录查看所有jar文件，需和如下内容一致。

```
ock-broadcast-sdk-24.0.0.jar
ock-launch-cluster-24.0.0.jar
ock-Shuffle-manager-24.0.0-for-spark-3.3.jar # 3.3跟Spark版本一致
ock-Shuffle-sdk-24.0.0.jar
zk-server-auth-plugin-tls-24.0.0-assembly.jar
zk-server-auth-plugin-keytab-24.0.0-assembly.jar
```


  - ESS模式
    进入“/home/ockadmin/opt/ock/jars”
    目录查看所有jar文件，需和如下内容一致。

```
ock-broadcast-sdk-24.0.0.jar
ock-launch-cluster-24.0.0.jar
ock-Shuffle-manager-24.0.0-for-spark-3.3.jar # 3.3跟Spark版本一致
ock-Shuffle-sdk-24.0.0.jar
zk-server-auth-plugin-tls-24.0.0-assembly.jar
zk-server-auth-plugin-keytab-24.0.0-assembly.jar
```


这里的JAR包用户是ockadmin，请保证提交spark任务的用户有改JAR包的操作权限，请至少配置为550。


6. 修改mf.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明mf.conf。
  a. 进入“/home/ockadmin/opt/ock/conf”目录。

```
cd /home/ockadmin/opt/ock/conf
```


  b. 打开“mf.conf”文件。

```
vi mf.conf
```


  c. 按“i”进入编辑模式，在文件中修改数据目录。

```
ock.mf.ip_mask =
192.168.xx.xx
-
192.168.xx.xx
#区间包含所有节点的IP地址
ock.mf.protocol = tcp
ock.ucache.rpc.enableAuthentication = false
ock.ucache.rpc.enableTLS = false
ock.ucache.rpc.enableAuthorization = false
```


  d. 删除ock.ucache.rpc.tls.crl.path和ock.ucache.rpc.tls.sdk.crl.path。
  e. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
7. 修改ock.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明ock.conf。
  a. 打开ock.conf文件。

```
vi ock.conf
```


  b. 按“i”进入编辑模式，在文件中修改数据目录。

```
ock.ucache.rpc.transport.protocol = tcp
ock.ucache.rpc.shuffle_server.port = 3891
ock.ucache.master.ip = 192.168.xx.xx
ock.ucache.rpc.enableAuthentication = false
ock.ucache.rpc.enableTLS = false
ock.ucache.rpc.enableAuthorization = false
ock.zookeeper.security.enable = false
ock.ucache.server.swap.threshold.higher_watermark = 60
ock.ucache.server.swap.threshold.lower_watermark = 20
ock.ucache.server.swap.path = /data/data1/ock_swap,/data/data2/ock_swap,/data/data3/ock_swap,/data/data4/ock_swap //根据挂盘数量填写，RSS模式推荐挂载NVMe盘
ock.ucache.rpc.openssl.path=/home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/lib/common/openssl/libssl.so
ock.ucache.rpc.crypto.path = /home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/lib/common/openssl/libcrypto.so
ock.ucache.rss.mode = false  // ESS模式配置为false，RSS模式配置为true
ock.ucache.rpc.transport.ipfilter = 192.168.xx.xx/24
```


    - “/home/ockadmin”：路径用户可自行定义。
    - ock.ucache.rpc.transport.ipfilter：为IP地址过滤器，以集群节点的IP地址为192.168.1.x为例，该处设置为192.168.1.0/24。
  c. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
8. 验证安装成功。详情请参见安装特性。
  启动成功，表示安装特性成功。