鲲鹏社区首页
中文
注册
开发者
支持
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
提交
在线提单
论坛求助

安装SparkExtension

OmniOperator算子加速特性支持Spark引擎，需在管理节点和所有计算节点安装Spark引擎，并配置openEuler操作系统的SparkExtension依赖。用户根据需求安装与Spark版本相对应的SparkExtension，例如Spark 3.1.1对应SparkExtension 3.1.1。可通过spark-shell --version命令查询Spark版本。

OmniOperator算子加速安装所需Spark引擎扩展包和OmniOperator算子加速运行时所依赖的库文件详情如表3所示。

  • boostkit-omniop-spark-3.1.1-1.9.0-aarch64.zip中会有boostkit-omniop-spark-3.1.1-1.9.0-aarch64-openeuler.zip和boostkit-omniop-spark-3.1.1-1.9.0-aarch64-centos.zip两个包，分别适用于openEuler和CentOS系统，以下安装以openEuler系统为例。如需在CentOS系统安装OmniOperator算子加速，把以下命令参的boostkit-omniop-spark-3.1.1-1.9.0-aarch64-openeuler.zip替换为boostkit-omniop-spark-3.1.1-1.9.0-aarch64-centos.zip即可。
  • Dependency_library.zip压缩包中会有Dependency_library_openeuler.zip和Dependency_library_centos.zip两个包，分别适用于openEuler和CentOS系统，以下安装以openEuler系统为例。如需在CentOS系统安装OmniOperator算子加速，把以下命令参数中的Dependency_library_openeuler.zip替换为Dependency_library_centos.zip即可。

安装SparkExtension 3.1.1

  1. 安装Spark引擎。具体请参见操作系统和软件要求。
  2. 下载SparkExtension插件包并解压。

    从软件安装包获取下载得到boostkit-omniop-spark-3.1.1-1.9.0-aarch64.zip，并上传至管理节点的“/opt/omni-operator/”目录下。

  3. 可选：安装openEuler操作系统的SparkExtension依赖。

    各系统镜像配置本地Yum源，执行以下命令安装依赖。

    如已安装其他版本的SparkExtension则可跳过该步。

    1
    yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
  4. 配置SparkExtension。
    1. 在管理节点和计算节点创建“/opt/omni-operator/”目录作为安装OmniOperator算子加速的根目录，进入该目录。
      mkdir /opt/omni-operator
cd /opt/omni-operator
rm -rf Dependency_library_*.zip
    2. 可选：从软件安装包获取中获取到Dependency_library软件安装包（Dependency_library.zip和Dependency_library.z01），上传到“/opt/omni-operator”目录下，再将适用于对应操作系统的内容解压并拷贝到“/opt/omni-operator/lib”目录下。
      • 如已安装其他版本的SparkExtension则可跳过该步。
      • 如果在安装依赖中已拷贝libLLVM-15.so、libjemalloc.so.2两个so到“/opt/omni-operator/lib”目录下，则本步骤可以跳过这两个so的拷贝。
      1
2
3
      zip -F Dependency_library.zip --out Dependency_library_complete.zip
unzip Dependency_library_complete.zip
cp /opt/omni-operator/Dependency_library/Dependency_library_openeuler/* /opt/omni-operator/lib
    3. 解压boostkit-omniop-spark-3.1.1-1.9.0-aarch64.zip，得到boostkit-omniop-spark-3.1.1-1.9.0-aarch64-openeuler.zip，然后解压boostkit-omniop-spark-3.1.1-1.9.0-aarch64-openeuler.zip，得到boostkit-omniop-spark-3.1.1-1.9.0-aarch64.jar和dependencies.tar.gz，将boostkit-omniop-spark-3.1.1-1.9.0-aarch64.jar移动到“/opt/omni-operator/lib”目录下，将dependencies.tar.gz解压到“/opt/omni-operator/lib”目录下。
      1
2
3
4
5
6
      rm -rf dependencies.tar.gz
unzip boostkit-omniop-spark-3.1.1-1.9.0-aarch64.zip
unzip boostkit-omniop-spark-3.1.1-1.9.0-aarch64-openeuler.zip
mv boostkit-omniop-spark-3.1.1-1.9.0-aarch64.jar ./lib
tar -zxvf dependencies.tar.gz -C ./lib
rm -f *.zip
    4. 修改软件安装包中的程序文件权限为550，配置文件目录权限为750，配置文件权限为640。
      1
2
3
      chmod -R 550 /opt/omni-operator/*
chmod 750 /opt/omni-operator/conf
chmod 640 /opt/omni-operator/conf/omni.conf
  5. 在管理节点的“~/.bashrc”文件中添加如下环境变量。
    1
2
    echo "export OMNI_HOME=/opt/omni-operator" >>  ~/.bashrc
source ~/.bashrc

安装SparkExtension 3.3.1

  1. 安装Spark引擎。具体请参见操作系统和软件要求。
  2. 下载SparkExtension插件包并解压。

    从软件安装包获取下载得到boostkit-omniop-spark-3.3.1-1.9.0-aarch64.zip，并上传至管理节点的“/opt/omni-operator/”目录下。

  3. 可选：安装openEuler操作系统的SparkExtension依赖。

    各系统镜像配置本地Yum源，执行以下命令安装依赖。

    如已安装其他版本的SparkExtension则可跳过该步。

    1
    yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
  4. 配置SparkExtension。
    1. 在管理节点和计算节点创建“/opt/omni-operator/”目录作为安装OmniOperator算子加速的根目录，进入该目录。
      mkdir /opt/omni-operator
cd /opt/omni-operator
rm -rf Dependency_library_*.zip
    2. 可选：从软件安装包获取中获取Dependency_library软件安装包（Dependency_library.zip和Dependency_library.z01），上传到“/opt/omni-operator”目录下，再将适用于对应运行系统的压缩包内容解压并拷贝到“/opt/omni-operator/lib”目录下。
      • 如已安装其他版本的SparkExtension则可跳过该步。
      • 如果在安装依赖中已拷贝libLLVM-15.so、libjemalloc.so.2两个so到“/opt/omni-operator/lib”目录下，则本步骤可以跳过这两个so的拷贝。
      1
2
3
      zip -F Dependency_library.zip --out Dependency_library_complete.zip
unzip Dependency_library_complete.zip
cp /opt/omni-operator/Dependency_library/Dependency_library_openeuler/* /opt/omni-operator/lib
    3. 解压boostkit-omniop-spark-3.3.1-1.9.0-aarch64.zip，得到boostkit-omniop-spark-3.3.1-1.9.0-aarch64-openeuler.zip，然后解压boostkit-omniop-spark-3.3.1-1.9.0-aarch64-openeuler.zip，得到boostkit-omniop-spark-3.3.1-1.9.0-aarch64.jar和dependencies.tar.gz，将boostkit-omniop-spark-3.3.1-1.9.0-aarch64.jar移动到“/opt/omni-operator/lib”目录下，将dependencies.tar.gz解压到“/opt/omni-operator/lib”目录下。
      1
2
3
4
5
6
7
      cd /opt/omni-operator
rm -rf dependencies.tar.gz
unzip boostkit-omniop-spark-3.3.1-1.9.0-aarch64.zip
unzip boostkit-omniop-spark-3.3.1-1.9.0-aarch64-openeuler.zip
mv boostkit-omniop-spark-3.3.1-1.9.0-aarch64.jar ./lib
tar -zxvf dependencies.tar.gz -C ./lib
rm -f *.zip
    4. 修改软件安装包中的程序文件权限为550，配置文件目录权限为750，配置文件权限为640。
      1
2
3
      chmod -R 550 /opt/omni-operator/*
chmod 750 /opt/omni-operator/conf
chmod 640 /opt/omni-operator/conf/omni.conf
  5. 可选：在管理节点的“~/.bashrc”文件中添加如下环境变量。
    1
2
    echo "export OMNI_HOME=/opt/omni-operator" >>  ~/.bashrc
source ~/.bashrc

安装SparkExtension 3.4.3

  1. 安装Spark引擎。具体请参见操作系统和软件要求。
  2. 下载SparkExtension插件包并解压。

    从软件安装包获取下载得到boostkit-omniop-spark-3.4.3-1.9.0-aarch64.zip，并上传至管理节点的“/opt/omni-operator/”目录下。

  3. 可选：安装openEuler操作系统的SparkExtension依赖。

    各系统镜像配置本地Yum源，执行以下命令安装依赖。

    如已安装其他版本的SparkExtension则可跳过该步。

    1
    yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
  4. 配置SparkExtension。
    1. 在管理节点和计算节点创建“/opt/omni-operator/”目录作为安装OmniOperator算子加速的根目录，进入该目录。
      mkdir /opt/omni-operator
cd /opt/omni-operator
rm -rf Dependency_library_*.zip
    2. 可选：从软件安装包获取中获取Dependency_library软件安装包（Dependency_library.zip和Dependency_library.z01），上传到“/opt/omni-operator”目录下，再将适用于对应运行系统的压缩包内容解压并拷贝到“/opt/omni-operator/lib”目录下。
      • 如已安装其他版本的SparkExtension则可跳过该步。
      • 如果在安装依赖中已拷贝libLLVM-15.so、libjemalloc.so.2两个so到“/opt/omni-operator/lib”目录下，则本步骤可以跳过这两个so的拷贝。
      1
2
3
      zip -F Dependency_library.zip --out Dependency_library_complete.zip
unzip Dependency_library_complete.zip
cp /opt/omni-operator/Dependency_library/Dependency_library_openeuler/* /opt/omni-operator/lib
    3. 解压boostkit-omniop-spark-3.4.3-1.9.0-aarch64.zip，得到boostkit-omniop-spark-3.4.3-1.9.0-aarch64-openeuler.zip，然后解压boostkit-omniop-spark-3.4.3-1.9.0-aarch64-openeuler.zip，得到boostkit-omniop-spark-3.4.3-1.9.0-aarch64.jar和dependencies.tar.gz，将boostkit-omniop-spark-3.4.3-1.9.0-aarch64.jar移动到“/opt/omni-operator/lib”目录下，将dependencies.tar.gz解压到“/opt/omni-operator/lib”目录下。
      1
2
3
4
5
6
7
      cd /opt/omni-operator
rm -rf dependencies.tar.gz
unzip boostkit-omniop-spark-3.4.3-1.9.0-aarch64.zip
unzip boostkit-omniop-spark-3.4.3-1.9.0-aarch64-openeuler.zip
mv boostkit-omniop-spark-3.4.3-1.9.0-aarch64.jar ./lib
tar -zxvf dependencies.tar.gz -C ./lib
rm -f *.zip
    4. 修改软件安装包中的程序文件权限为550，配置文件目录权限为750，配置文件权限为640。
      1
2
3
      chmod -R 550 /opt/omni-operator/*
chmod 750 /opt/omni-operator/conf
chmod 640 /opt/omni-operator/conf/omni.conf
  5. 可选：在管理节点的“~/.bashrc”文件中添加如下环境变量。
    1
2
    echo "export OMNI_HOME=/opt/omni-operator" >>  ~/.bashrc
source ~/.bashrc

安装SparkExtension 3.5.2

  1. 安装Spark引擎。具体请参见操作系统和软件要求。
  2. 下载SparkExtension插件包并解压。

    从软件安装包获取下载得到boostkit-omniop-spark-3.5.2-1.9.0-aarch64.zip，并上传至管理节点的“/opt/omni-operator/”目录下。

  3. 可选：安装openEuler操作系统的SparkExtension依赖。

    各系统镜像配置本地Yum源，执行以下命令安装依赖。

    如已安装其他版本的SparkExtension则可跳过该步。

    1
    yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
  4. 配置SparkExtension。
    1. 在管理节点和计算节点创建“/opt/omni-operator/”目录作为安装OmniOperator算子加速的根目录，进入该目录。
      mkdir /opt/omni-operator
cd /opt/omni-operator
rm -rf Dependency_library_*.zip
    2. 可选：从软件安装包获取中获取Dependency_library软件安装包（Dependency_library.zip和Dependency_library.z01），上传到“/opt/omni-operator”目录下，再将适用于对应运行系统的压缩包内容解压并拷贝到“/opt/omni-operator/lib”目录下。
      • 如已安装其他版本的SparkExtension则可跳过该步。
      • 如果在安装依赖中已拷贝libLLVM-15.so、libjemalloc.so.2两个so到“/opt/omni-operator/lib”目录下，则本步骤可以跳过这两个so的拷贝。
      1
2
3
      zip -F Dependency_library.zip --out Dependency_library_complete.zip
unzip Dependency_library_complete.zip
cp /opt/omni-operator/Dependency_library/Dependency_library_openeuler/* /opt/omni-operator/lib
    3. 解压boostkit-omniop-spark-3.5.2-1.9.0-aarch64.zip，得到boostkit-omniop-spark-3.5.2-1.9.0-aarch64-openeuler.zip，然后解压boostkit-omniop-spark-3.5.2-1.9.0-aarch64-openeuler.zip，得到boostkit-omniop-spark-3.5.2-1.9.0-aarch64.jar和dependencies.tar.gz，将boostkit-omniop-spark-3.5.2-1.9.0-aarch64.jar移动到“/opt/omni-operator/lib”目录下，将dependencies.tar.gz解压到“/opt/omni-operator/lib”目录下。
      1
2
3
4
5
6
7
      cd /opt/omni-operator
rm -rf dependencies.tar.gz
unzip boostkit-omniop-spark-3.5.2-1.9.0-aarch64.zip
unzip boostkit-omniop-spark-3.5.2-1.9.0-aarch64-openeuler.zip
mv boostkit-omniop-spark-3.5.2-1.9.0-aarch64.jar ./lib
tar -zxvf dependencies.tar.gz -C ./lib
rm -f *.zip
    4. 修改软件安装包中的程序文件权限为550，配置文件目录权限为750，配置文件权限为640。
      1
2
3
      chmod -R 550 /opt/omni-operator/*
chmod 750 /opt/omni-operator/conf
chmod 640 /opt/omni-operator/conf/omni.conf
  5. 可选：在管理节点的“~/.bashrc”文件中添加如下环境变量。
    1
2
    echo "export OMNI_HOME=/opt/omni-operator" >>  ~/.bashrc
source ~/.bashrc