安装软件

安装OmniShuffle Shuffle加速前请先参考环境要求章节获取软件安装包并通过完整性校验。请在所有节点安装OmniShuffle Shuffle加速并配置相关参数文件。

以下步骤需要在所有节点下执行。

依次进入需要安装的节点，从软件安装包获取获取OmniShuffle Shuffle加速软件安装包存放至“/home/ockadmin”目录下，执行以下命令进行解压。

tar --no-same-owner -zxvf /home/ockadmin/BoostKit-omnishuffle_1.5.0.tar.gz
cd /home/ockadmin/BoostKit-omnishuffle_1.5.0
tar --no-same-owner -zxvf omnishuffleUtils_openeuler-aarch64.tar.gz

执行如下命令，打开common_params.sh修改参数。
1. 进入“omnishuffleUtils/common”目录。
```
cd omnishuffleUtils/common
```
2. 打开“common_params.sh”文件。
```
vi common_params.sh
```
3. 按“i”进入编辑模式，在文件中修改以下内容。
```
ock_root_path=/home/ockadmin/opt
spark_version="spark-3.3"
...
#rss or ess，配置rss或ess模式。
ock_mode="rss"
...
```
4. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
进入“bin”目录，安装OmniShuffle Shuffle加速。
```
cd ../bin
sh ock_install.sh
source ~/.bashrc 
```

根据部署模式和Spark版本删除安装目录下jars不需要的jar包。

RSS模式，进入“/home/ockadmin/opt/ock/jars”目录查看所有jar文件，需和如下内容一致：

ock-broadcast-sdk-24.0.0.jar
ock-launch-cluster-24.0.0.jar
ock-remote-shuffle-manager-24.0.0-for-spark-3.3.jar # 3.3跟Spark版本一致
ock-shuffle-sdk-24.0.0.jar
zk-server-auth-plugin-tls-24.0.0-assembly.jar
zk-server-auth-plugin-keytab-24.0.0-assembly.jar

ESS模式，进入“/home/ockadmin/opt/ock/jars”目录查看所有jar文件，需和如下内容一致：

ock-broadcast-sdk-24.0.0.jar
ock-launch-cluster-24.0.0.jar
ock-shuffle-manager-24.0.0-for-spark-3.3.jar # 3.3跟Spark版本一致
ock-shuffle-sdk-24.0.0.jar
zk-server-auth-plugin-tls-24.0.0-assembly.jar
zk-server-auth-plugin-keytab-24.0.0-assembly.jar

修改mf.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明mf.conf。
1. 进入“/home/ockadmin/opt/ock/conf”目录。
```
cd /home/ockadmin/opt/ock/conf
```
2. 打开“mf.conf”文件。
```
vi mf.conf
```
3. 按“i”进入编辑模式，在文件中修改数据目录。
```
ock.mf.ip_mask = 192.168.xx.xx-192.168.xx.xx #区间包含所有节点的IP地址
ock.mf.protocol = tcp
ock.ucache.rpc.enableAuthentication = false
ock.ucache.rpc.enableTLS = false
ock.ucache.rpc.enableAuthorization = false
```
4. 删除ock.ucache.rpc.tls.crl.path和ock.ucache.rpc.tls.sdk.crl.path。
5. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

修改ock.conf的本地路径为当前的配置文件路径。修改规则依据配置文件说明ock.conf。

打开ock.conf文件。
```
vi ock.conf
```

按“i”进入编辑模式，在文件中修改数据目录。

ock.ucache.rpc.transport.protocol = tcp
ock.ucache.rpc.shuffle_server.port = 3891
ock.ucache.master.ip = 192.168.xx.xx

ock.ucache.rpc.enableAuthentication = true
ock.ucache.rpc.enableTLS = true
ock.ucache.rpc.enableAuthorization = true
ock.zookeeper.security.enable = true

ock.ucache.server.swap.threshold.higher_watermark = 60
ock.ucache.server.swap.threshold.lower_watermark = 20
ock.ucache.server.swap.path = /data/data1/ock_swap,/data/data2/ock_swap,/data/data3/ock_swap,/data/data4/ock_swap //根据挂盘数量填写，RSS模式请挂载NVMe盘
ock.ucache.rpc.openssl.path=/home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/lib/common/openssl/libssl.so
ock.ucache.rpc.crypto.path = /home/ockadmin/opt/ock/ucache/24.0.0/linux-aarch64/lib/common/openssl/libcrypto.so

ock.ucache.rss.mode = false  // ESS模式配置为false，RSS模式配置为true
ock.ucache.rpc.transport.ipfilter = 192.168.xx.xx/24

按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
- “/home/ockadmin”目录用户可自行定义。
- ock.ucache.rpc.transport.ipfilter为IP地址过滤器，以集群节点的IP地址为192.168.1.x为例，该处设置为192.168.0.1/24。

父主题： 安装特性