EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

OmniOperator算子加速环境要求

硬件要求

集群中各节点硬件要求如表1所示。

表1 硬件要求

硬件环境

管理节点

计算/存储节点

处理器

鲲鹏920 5220处理器

鲲鹏920 5220处理器

内存大小

384GB(12 * 32GB)

384GB(12 * 32GB)

内存频率

2666MHz

2666MHz

网卡

  • 业务网络10GE
  • 管理网络GE
  • 业务网络10GE
  • 管理网络GE

硬盘

  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8T SATA HDD)
  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8T SATA HDD)

RAID卡

LSI SAS3508

LSI SAS3508

操作系统和软件要求

集群中各节点操作系统和软件要求如表2所示。

表2 操作系统和软件要求

项目

版本

说明

管理节点

Server

计算/存储节点

操作系统

  • openEuler 20.03 LTS SP1
  • openEuler 22.03 LTS

-

JDK

BiSheng JDK 1.8(优选BiSheng JDK 1.8.0_342)

-

Hadoop

3.2.0

部署指南请参考:《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)

Hive

3.1.0

部署指南请参考:《Hive 部署指南(CentOS 7.6&openEuler 20.03)

-

Spark

3.1.1

部署指南请参考:《Spark 部署指南(CentOS 7.6&openEuler 20.03)

Python

3.10.2及以上

-

以上第三方依赖版本如有漏洞请根据官方说明进行漏洞修复。

软件获取

安装OmniOperator算子加速特性所需软件包及其获取方式如表3所示。

表3 OmniOperator算子加速软件获取列表

名称

包名

发布类型

说明

获取地址

OmniRuntime压缩包

BoostKit-omniruntime_1.0.0.zip

闭源

OmniRuntime压缩包,压缩包解压可获得OmniOperator算子加速二进制包和OmniMV物化视图二进制包。

鲲鹏社区:Link

SparkExtension

boostkit-omniop-spark-3.1.1-1.2.0-aarch64.zip

开源

使用OmniOperator算子加速计算底座时,Spark引擎扩展包。

Link

LLVM

LLVM.zip

-

-

Link

jemalloc

jemalloc.zip

-

-

Link

HMPP

BoostKit-hmpp_1.7.0.zip

该加速库依赖鲲鹏920硬件环境

HMPP最新版本为2.0.0版本,1.7.0版本请在历史版本中下载。

Link

ORC

ORC.zip

-

-

Link

Protobuf

Protobuf.zip

-

-

Link

软件安装包完整性校验

从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。

校验方法:

  1. 获取软件数字证书和软件安装包。
  2. 在如下链接中获取校验工具和校验方法:
  3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。