软件要求

类别

支持版本

说明

管理节点

Server

计算节点

Agent

存储节点

HDFS/Ceph二选一

操作系统

OmniData Server兼容主流OS:CentOS 7.6、openEuler 20.03 LTS SP1、openEuler 22.03 LTS

-

JDK

BiSheng JDK 1.8(优选BiSheng JDK 1.8.0_262)

openEuler 22.03 LTS与BiSheng JDK 1.8.0_262不兼容,需更换为BiSheng JDK 1.8.0_342

Hadoop

Hadoop 3.2.0

部署指南请参考:《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)

ZooKeeper

ZooKeeper 3.6.2

部署指南请参考:《ZooKeeper 部署指南(CentOS 7.6&openEuler 20.03)

-

-

Hive

Hive 3.1.0

部署指南请参考:《Hive 部署指南(CentOS 7.6&openEuler 20.03)

-

-

Ceph

Ceph 14.2.8二进制包

Ceph 14.2.8源码

-

-

-

Spark

Spark 3.0.0/Spark 3.1.1

部署指南请参考:《Spark 部署指南(CentOS 7.6&openEuler 20.03)

-

-

OpenSSL工具

OpenSSL 1.1.1及以上

-

-

Python

Python 3.9.2及以上

-

-

  • 用户可根据需要安装对应的大数据引擎(Spark/Hive)。
  • 存储服务可选择HDFS或者Ceph。
  • HAF业务会消耗系统随机值,为了避免程序阻塞,请务必开启Haveged业务。
    1. 安装Haveged(如已安装,可忽略)
      yum install -y haveged
    2. 启动Haveged服务,并设置成随系统启动。
      systemctl start haveged
      systemctl enable haveged.service
    3. 确认服务是否开启。
      service haveged status
  • OpenSSL版本低,会导致证书签发失败,请提前升级OpenSSL版本为1.1.1及以上。
    1. 查看Open SSL版本号,如果版本号低于1.1.1,请升级版本。
      openssl version
    2. 获取软件包。
      wget https://www.openssl.org/source/openssl-1.1.1n.tar.gz
    3. 解压编译并安装。
      tar -zxvf openssl-1.1.1n.tar.gz
      cd openssl-1.1.1n
      sudo ./config --prefix=/usr/local/openssl
      sudo make -j 16
      sudo make install
      sudo mv /usr/bin/openssl /usr/bin/openssl.bak
      sudo ln -sf /usr/local/openssl/bin/openssl /usr/bin/openssl
    4. 打开文件,把“/usr/local/openssl/lib”加到文件最后。
      sudo vim /etc/ld.so.conf
    5. 使设置生效。
      sudo ldconfig -v

软件获取

安装OmniData算子下推特性所需软件包及其获取方式如表1所示。

表1 OmniData算子下推软件获取列表

名称

包名

发布类型

获取地址

说明

OmniData算子下推二进制包

BoostKit-omnidata_1.4.0.zip

闭源

鲲鹏社区:Link

OmniData算子下推安装包。

Spark引擎OmniData算子下推插件

boostkit-omnidata-spark-sql_2.12-3.0.0-1.4.0-aarch64.zip

开源

Link

使用OmniData算子下推功能时,Spark引擎扩展包。

boostkit-omnidata-spark-sql_2.12-3.1.1-1.4.0-aarch64.zip

开源

Link

Hive引擎OmniData算子下推插件

boostkit-omnidata-hive-exec-3.1.0-1.4.0.zip

开源

Link

使用OmniData算子下推功能时,Hive引擎扩展包。

OmniData算子下推 Server的第三方依赖包

boostkit-omnidata-server-1.4.0-aarch64-lib.zip

开源

参考源码链接中README.md,编译获取此包。

OmniData算子下推第三方依赖包。

Hive UDF插件

boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip

开源

参考源码链接中README.md,编译获取boostkit-omnidata-hive-udf-loader-1.6.1.zip,并重命名为boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip。

Hive UDF插件包。

Hive UDF插件用于执行基于Hive UDF框架编写的UDF函数。

HAF二进制包

BoostKit-haf_1.3.0.zip

闭源

鲲鹏社区:Link

HAF的安装包。

访问Ceph所需的依赖包

hdfs-ceph-3.2.0.jar

开源

Link

Hadoop和OmniData算子下推访问Ceph所需的依赖包。

librgw_jni.so

开源

Link

Hadoop和OmniData算子下推访问Ceph所需的二进制文件。

软件包完整性校验

对于闭源二进制包,下载软件包后需要校验软件包,确保与网站上的原始软件包一致。

校验方法:

  1. 获取软件数字证书和软件。
  2. 在如下链接中获取校验工具和校验方法:

    https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054

  3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件包完整性检查。