环境要求

处理器

鲲鹏920 5250处理器/鲲鹏920高性能处理器（80核）

内存大小

384GB （12 * 32GB）

内存频率

2666MHz

网卡

• Ceph环境：业务网络25GE，管理网络GE
• HDFS环境：业务网络10GE，管理网络GE

硬盘

• 系统盘：1 * RAID 0（1 * 1.2T SAS HDD）
• 数据盘（管理节点）：12 * RAID 0（12 * 4T SATA HDD）
• 数据盘（计算节点）：
  • Ceph环境：1 * 3.2T NVMe
  • HDFS环境：12 * RAID 0（12 * 4T SATA HDD）
• 数据盘（存储节点）：
  • Ceph环境：12 * RAID 0（12 * 4T SATA HDD） 1 * 3.2T NVMe
  • HDFS环境：12 * RAID 0（12 * 4T SATA HDD）

RAID卡

LSI SAS3508

操作系统

• CentOS 7.6
• openEuler 20.03 LTS SP1
• openEuler 22.03 LTS SP1

-

√

√

√

JDK

BiSheng JDK 1.8（优选BiSheng JDK 1.8.0_342）

openEuler 22.03 LTS SP1与BiSheng JDK 1.8.0_262不兼容，需更换为BiSheng JDK 1.8.0_342。

√

√

√

Hadoop

3.2.0

部署指南请参考：《Hadoop 集群部署（CentOS 7.6&openEuler 20.03）》

√

√

√

ZooKeeper

3.6.2

部署指南请参考：《ZooKeeper 部署指南（CentOS 7.6&openEuler 20.03）》

-

√

-

Hive

3.1.0

部署指南请参考：《Hive 部署指南（CentOS 7.6&openEuler 20.03）》

√

-

-

Spark

3.1.1

部署指南请参考：《Spark 部署指南（CentOS 7.6&openEuler 20.03）》

√

-

-

Ceph

14.2.8

-

-

-

√

OpenSSL工具

1.1.1及以上

Link

-

√

√

Python

3.10.2及以上

-

-

√

√

• √：是指对应节点需要安装该项目。
• -：是指对应节点不需要安装该项目。

OmniRuntime压缩包

BoostKit-omniruntime_1.5.0.zip

闭源

OmniRuntime压缩包，解压可获得OmniData算子下推软件安装包（BoostKit-omnidata_1.5.0.zip）。

鲲鹏社区：Link

Spark引擎OmniData插件

boostkit-omnidata-spark-sql_2.12-3.1.1-1.5.0-aarch64.zip

开源

使用OmniData算子下推功能时，Spark引擎扩展包。

Link

OmniData Server的第三方依赖包

boostkit-omnidata-server-1.5.0-aarch64-lib.zip

开源

OmniData算子下推的第三方依赖包。

参考源码链接中README.md，编译获取此包。

Hive UDF插件

boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip

开源

Hive UDF插件包。Hive UDF插件用于执行基于Hive UDF框架编写的UDF函数。

参考源码链接中README.md，编译获取boostkit-omnidata-hive-udf-loader-1.6.1.zip，并重命名为boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip。

HAF软件安装包

BoostKit-haf_1.4.0.zip

闭源

HAF软件安装包。

鲲鹏社区：Link

访问Ceph所需的依赖包

hdfs-ceph-3.2.0.jar

开源

Hadoop和OmniData算子下推访问Ceph所需的依赖包。

Link

librgw_jni.so

开源

Hadoop和OmniData算子下推访问Ceph所需的二进制文件。

Link