软件要求

类别

支持版本

管理节点

计算/存储节点

说明

操作系统

OmniOperator兼容主流OS:CentOS 7.6、openEuler 20.03 LTS SP1、openEuler 22.03 LTS

-

JDK

BiSheng JDK 1.8(优选BiSheng JDK 1.8.0_262)

openEuler 22.03 LTS与BiSheng JDK 1.8.0_262不兼容,需更换为BiSheng JDK 1.8.0_342

Hadoop

Hadoop 3.2.0

部署指南请参考:《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)

Hive

Hive 3.1.0

-

部署指南请参考:《Hive 部署指南(CentOS 7.6&openEuler 20.03)

Spark

Spark 3.1.1

部署指南请参考:《Spark 部署指南(CentOS 7.6&openEuler 20.03)

LLVM

LLVM 12.0.1

-

jemalloc

jemalloc 5.2.1

-

HMPP

HMPP 1.7.0

该加速库依赖鲲鹏920硬件环境

Python

Python 3.9.2及以上

-

OpenSSL

OpenSSL.zip

若运行在OpenEuler 20.03操作系统无需部署

zstd

zstd 1.4.5

若运行在OpenEuler 20.03操作系统无需手动编译安装

ORC

ORC 1.7.4

-

Protobuf

Protobuf 3.15.0

-

  • 以上第三方依赖版本如有漏洞请根据官方说明进行漏洞修复。
  • 用户可根据需要安装对应的大数据引擎(Spark)。
  • 存储部署模式为HDFS,建议在管理节点上安装Kerberos服务,确保集群安全。

软件获取

安装OmniOperator算子加速特性所需软件包及其获取方式如表1所示。

表1 OmniOperator算子加速软件获取列表

名称

包名

发布类型

获取地址

说明

OmniOperator算子加速二进制包

BoostKit-omniop_1.1.0.zip

闭源

鲲鹏社区:Link

OmniOperator算子加速计算底座的二进制文件。

SparkExtension

boostkit-omniop-spark-3.1.1-1.1.0-aarch64.zip

开源

Link

使用OmniOperator算子加速计算底座时,Spark引擎扩展包。

软件包完整性校验

对于闭源二进制包,下载软件包后需要校验软件包,确保与网站上的原始软件包一致。

校验方法:

  1. 获取软件数字证书和软件。
  2. 在如下链接中获取校验工具和校验方法:

    https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054

  3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件包完整性检查。