EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
鲲鹏小智

OmniData算子下推环境要求

安装OmniData算子下推特性前,请参考本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。

硬件要求

集群中各节点硬件要求如表1所示。

表1 硬件要求

项目

说明

处理器

鲲鹏920 5250处理器

内存大小

384GB (12 * 32GB)

内存频率

2666MHz

网卡

  • Ceph环境:业务网络25GE,管理网络GE
  • HDFS环境:业务网络10GE,管理网络GE

硬盘

  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘(管理节点):12 * RAID 0(12 * 4T SATA HDD)
  • 数据盘(计算节点):
    • Ceph环境:1 * 3.2T NVMe
    • HDFS环境:12 * RAID 0(12 * 4T SATA HDD)
  • 数据盘(存储节点):
    • Ceph环境:12 * RAID 0(12 * 4T SATA HDD) 1 * 3.2T NVMe
    • HDFS环境:12 * RAID 0(12 * 4T SATA HDD)

RAID卡

LSI SAS3508

操作系统和软件要求

集群中各节点操作系统和软件要求如表2所示。

表2 操作系统和软件要求

项目

版本

说明

管理节点

(Server)

计算节点

(Agent)

存储节点

(HDFS/Ceph二选一)

操作系统

  • CentOS 7.6
  • openEuler 20.03 LTS SP1
  • openEuler 22.03 LTS SP1

-

JDK

BiSheng JDK 1.8(优选BiSheng JDK 1.8.0_342)

openEuler 22.03 LTS SP1与BiSheng JDK 1.8.0_262不兼容,需更换为BiSheng JDK 1.8.0_342

Hadoop

3.2.0

部署指南请参考:《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)

ZooKeeper

3.6.2

部署指南请参考:《ZooKeeper 部署指南(CentOS 7.6&openEuler 20.03)

-

-

Hive

3.1.0

部署指南请参考:《Hive 部署指南(CentOS 7.6&openEuler 20.03)

-

-

Ceph

14.2.8

Ceph的配置部署安装请参考:《用户指南

-

-

Spark

3.1.1

部署指南请参考:《Spark 部署指南(CentOS 7.6&openEuler 20.03)

-

-

OpenSSL工具

1.1.1及以上

Link

-

Python

3.10.2及以上

-

-

  • √:是指对应节点需要安装该项目。
  • -:是指对应节点不需要安装该项目。

软件获取

安装OmniData算子下推特性所需软件包及其获取方式如表3所示。

表3 OmniData算子下推软件获取列表

名称

包名

发布类型

说明

获取地址

OmniRuntime压缩包

BoostKit-omniruntime_1.1.0.zip

闭源

OmniRuntime压缩包,解压可获得OmniData算子下推软件安装包(BoostKit-omnidata_1.5.0.zip)。

鲲鹏社区:Link

说明:

使用软件包前请先阅读鲲鹏应用使能套件BoostKit用户许可协议 2.0,如确认继续使用,则默认同意协议的条款和条件。

Spark引擎OmniData插件

boostkit-omnidata-spark-sql_2.12-3.1.1-1.5.0-aarch64.zip

开源

使用OmniData算子下推功能时,Spark引擎扩展包。

Link

OmniData Server的第三方依赖包

boostkit-omnidata-server-1.5.0-aarch64-lib.zip

开源

OmniData算子下推的第三方依赖包。

参考源码链接中README.md,编译获取此包。

Hive UDF插件

boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip

开源

Hive UDF插件包。Hive UDF插件用于执行基于Hive UDF框架编写的UDF函数。

参考源码链接中README.md,编译获取boostkit-omnidata-hive-udf-loader-1.6.1.zip,并重命名为boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip。

HAF软件安装包

BoostKit-haf_1.3.0.zip

闭源

HAF软件安装包。

鲲鹏社区:Link

说明:

使用软件包前请先阅读鲲鹏应用使能套件BoostKit用户许可协议 2.0,如确认继续使用,则默认同意协议的条款和条件。

访问Ceph所需的依赖包

hdfs-ceph-3.2.0.jar

开源

Hadoop和OmniData算子下推访问Ceph所需的依赖包。

Link

librgw_jni.so

开源

Hadoop和OmniData算子下推访问Ceph所需的二进制文件。

Link

软件安装包完整性校验

从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。

校验方法:

  1. 获取软件数字证书和软件安装包。
  2. 在如下链接中获取校验工具和校验方法:

    https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054

  3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词