鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

环境要求

安装OmniMV物化视图特性前,请参见本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。

硬件要求

集群中各节点硬件要求如表1所示。

表1 硬件要求

硬件环境

管理/计算/存储节点

处理器

鲲鹏920 5250处理器/鲲鹏920新型号处理器

内存大小

384GB(12 * 32GB)

内存频率

2666MHz

网络

  • 业务网络10GE
  • 管理网络1GE

硬盘

  • 系统盘:1 * RAID 0(1 * 1.2TB SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8TB SATA HDD)

RAID控制卡

LSI SAS3508

操作系统和软件要求

集群中各节点操作系统和软件要求如表2所示。

表2 操作系统和软件要求

项目

版本

说明

管理节点(Server)

计算/存储节点

操作系统

openEuler 22.03 LTS SP1

无特殊说明。

JDK

毕昇JDK 1.8.0_342

毕昇JDK安装指南请参见《毕昇JDK 8 安装指南》。

Hadoop

3.2.0

部署指南请参见《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)》。

Spark

3.1.1/3.4.3

部署指南请参见《Spark 部署指南(CentOS 7.6&openEuler 20.03)》。

-

ZooKeeper

3.6.2及以上

部署指南请参见《ZooKeeper 部署指南(CentOS 7.6&openEuler 20.03)》。

-

Python

3.10.2及以上

无特殊说明。

  • √:表示对应节点需要安装该项目。
  • -:表示对应节点不需要安装该项目。
  • 以上第三方依赖版本如有漏洞请根据官方说明进行漏洞修复。
  • 以上组件版本,可能和部署指南中的组件版本不一致,部署指南仅供部署参考。

软件获取

安装OmniMV物化视图所需软件安装包及其获取方式如表3所示。

表3 OmniMV物化视图软件获取列表

名称

包名

发布类型

说明

获取地址

OmniMV物化视图软件安装包

BoostKit-omnimv_1.2.0.zip

开源

-

获取链接

OmniMV Plugin的JAR包

boostkit-omnimv-spark-3.1.1-1.2.0-aarch64.jar

开源

使用OmniMV物化视图能力时,Spark引擎扩展包。

获取链接

boostkit-omnimv-spark-3.4.3-1.2.0-aarch64.jar

开源

使用OmniMV物化视图能力时,Spark引擎扩展包。

获取链接

OmniMV日志解析JAR包

boostkit-omnimv-logparser-spark-3.1.1-1.2.0-aarch64.jar

开源

使用OmniMV物化视图解析Spark日志时使用的功能包。

获取链接

boostkit-omnimv-logparser-spark-3.4.3-1.2.0-aarch64.jar

开源

使用OmniMV物化视图解析Spark日志时使用的功能包。

获取链接

hive-testbench

hive-testbench-hdp3.zip

开源

生成TPC-DS/TPCH数据时使用的TestBench源码包。

获取链接

软件安装包完整性校验

从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。

校验方法:

  1. 获取软件数字证书和软件安装包。
  2. 获取校验工具和校验方法
  3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。