部署Spark引擎

下述步骤需在管理节点和所有计算节点操作。

1. 部署Spark引擎。具体请参考软件要求。
2. 安装CentOS、openEuler操作系统的SparkExtension依赖，其中差异部分见说明。

   各系统镜像配置本地Yum源，执行以下命令安装依赖。

   yum install lz4-devel.aarch64 -y
   yum install zstd-devel.aarch64 -y
   yum install snappy-devel.aarch64 -y
   yum install protobuf-c-devel.aarch64 protobuf-lite-devel.aarch64 -y
   yum install boost-devel.aarch64 -y
   yum install cyrus-sasl-devel.aarch64 -y
   yum install jsoncpp-devel.aarch64 -y
   yum install openssl-devel.aarch64 -y
   yum install libatomic.aarch64 -y

   

   CentOS操作系统镜像Yum源中缺少zstd，需要手动编译安装，编译安装后将zstd的编译目标so复制到“/usr/lib64”目录下，请参考5.4手动编译zstd编译安装。

3. 配置SparkExtension。
   1. 从软件要求中获取到ORC和Protobuf软件包，解压后得到liborc.so和libprotobuf.so.26，并上传到“/opt/omni-operator/lib”目录下，并修改软件包权限为550。

      chmod 550 /opt/omni-operator/lib/liborc.so
      chmod 550 /opt/omni-operator/lib/libprotobuf.so.26

   2. 拷贝从boostkit-omniop-spark-3.1.1-1.0.0-aarch64.zip中解压出的boostkit-omniop-spark-3.1.1-1.1.0-aarch64.jar到“/opt/omni-operator/lib”目录下，并修改软件包权限为550。

      chmod 550 /opt/omni-operator/lib/boostkit-omniop-spark-3.1.1-1.1.0-aarch64.jar

   3. 将从boostkit-omniop-spark-3.1.1-1.0.0-aarch64.zip中解压出的dependencies.tar.gz进行解压，并将解压后得到的dependencies文件夹拷贝至“/opt/omni-operator/lib”目录下，并修改软件包权限为550。

      chmod -R 550 /opt/omni-operator/lib/dependencies/

   4. 从软件要求中获取到OpenSSL软件包，解压得到libcrypto.so.1.1和libssl.so.1.1，并上传到“/opt/omni-operator/lib”目录，并修改软件包权限为550。

      chmod 550 /opt/omni-operator/lib/libcrypto.so.1.1
      chmod 550 /opt/omni-operator/lib/libssl.so.1.1

      

      仅CentOS系统需要执行此步骤，OpenEuler系统自带有此版本的libcrypto.so、libssl.so。

   5. 在所有节点的“~/.bashrc”文件中添加如下环境变量（如果存在旧版本的OmniOperator lib路径请先删除）。

      export LD_LIBRARY_PATH=/opt/omni-operator/lib:$LD_LIBRARY_PATH
      export OMNI_CONNECTED_ENGINE=Spark