---
title: 部署Spark引擎
description: "下述步骤需在管理节点和所有计算节点操作。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2200SPC5/bds/kunpengomniop_20_0037.html
sourcePath: /source/zh/kunpengboostkithistory/2200SPC5/bds/kunpengomniop_20_0037.html
indexId: 7c50d60db553a3f07d0a6ec8402a95c115061286463e727c6c4c4b64338ab98473
---
# 部署Spark引擎

下述步骤需在管理节点和所有计算节点操作。

1. 部署Spark引擎。具体请参考软件要求。
2. 安装CentOS、OpenEuler操作系统的SparkExtension依赖，其中差异部分见说明。
  各系统镜像配置本地Yum源，执行以下命令安装依赖。

```
yum install lz4-devel.aarch64 -y
yum install zstd-devel.aarch64 -y
yum install snappy-devel.aarch64 -y
yum install protobuf-c-devel.aarch64 protobuf-lite-devel.aarch64 -y
yum install boost-devel.aarch64 -y
yum install cyrus-sasl-devel.aarch64 -y
yum install jsoncpp-devel.aarch64 -y
yum install openssl-devel.aarch64 -y
yum install libatomic.aarch64 -y
```


  CentOS操作系统镜像Yum源中缺少zstd，需要手动编译安装，编译安装后将zstd的编译目标so复制到“/usr/lib64”目录下，请参考5.4手动编译zstd编译安装。

3. 配置SparkExtension。

  a. 从    软件要求
中获取到ORC和Protobuf软件包，解压后得到liborc.so和libprotobuf.so.26，并上传到“/opt/omni-operator/lib”目录下，并修改软件包权限为550。

```
chmod 550 /opt/omni-operator/lib/liborc.so
chmod 550 /opt/omni-operator/lib/libprotobuf.so.26
```


  b. 拷贝从boostkit-omniop-spark-3.1.1-1.0.0-aarch64.zip中解压出的boostkit-omniop-spark-3.1.1-1.1.0-aarch64.jar到“/opt/omni-operator/lib”目录下，并修改软件包权限为550。

```
chmod 550 /opt/omni-operator/lib/boostkit-omniop-spark-3.1.1-1.1.0-aarch64.jar
```


  c. 将从boostkit-omniop-spark-3.1.1-1.0.0-aarch64.zip中解压出的dependencies.tar.gz进行解压，并将解压后得到的dependencies文件夹拷贝至“/opt/omni-operator/lib”目录下，并修改软件包权限为550。

```
chmod -R 550 /opt/omni-operator/lib/dependencies/
```


  d. 从    软件要求
中获取到OpenSSL软件包，解压得到libcrypto.so.1.1和libssl.so.1.1，并上传到“/opt/omni-operator/lib”目录，并修改软件包权限为550。

```
chmod 550 /opt/omni-operator/lib/libcrypto.so.1.1
chmod 550 /opt/omni-operator/lib/libssl.so.1.1
```


    仅CentOS系统需要执行此步骤，OpenEuler系统自带有此版本的libcrypto.so、libssl.so。

  e. 在所有节点的“~/.bashrc”文件中添加如下环境变量（如果存在旧版本的OmniOperator算子加速 lib路径请先删除）。

```
export LD_LIBRARY_PATH=/opt/omni-operator/lib:$LD_LIBRARY_PATH
export OMNI_CONNECTED_ENGINE=Spark
```