安装OmniMV物化视图特性前,请参考本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。
集群中各节点硬件要求如表1所示。
集群中各节点操作系统和软件要求如表2所示。
项目 |
版本 |
说明 |
管理节点(Server) |
计算/存储节点 |
---|---|---|---|---|
操作系统 |
openEuler 22.03 LTS SP1 |
- |
√ |
√ |
JDK |
毕昇JDK安装指南请参见:《毕昇JDK 8 安装指南》 |
√ |
√ |
|
Hadoop |
3.2.0 |
部署指南请参考:《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)》 |
√ |
√ |
Spark |
3.1.1/3.4.3 |
部署指南请参考:《Spark 部署指南(CentOS 7.6&openEuler 20.03)》 |
√ |
- |
ZooKeeper |
3.6.2及以上 |
- |
√ |
|
Python |
3.10.2及以上 |
- |
√ |
√ |
|
安装OmniMV物化视图所需软件安装包及其获取方式如表3所示。
名称 |
包名 |
发布类型 |
说明 |
获取地址 |
---|---|---|---|---|
OmniMV物化视图软件安装包 |
BoostKit-omnimv_1.2.0.zip |
开源 |
- |
|
OmniMV Plugin的JAR包 |
boostkit-omnimv-spark-3.1.1-1.2.0-aarch64.jar |
开源 |
使用OmniMV物化视图能力时,Spark引擎扩展包。 |
|
boostkit-omnimv-spark-3.4.3-1.2.0-aarch64.jar |
开源 |
使用OmniMV物化视图能力时,Spark引擎扩展包。 |
||
OmniMV日志解析JAR包 |
boostkit-omnimv-logparser-spark-3.1.1-1.2.0-aarch64.jar |
开源 |
使用OmniMV物化视图解析Spark日志时使用的功能包。 |
|
boostkit-omnimv-logparser-spark-3.4.3-1.2.0-aarch64.jar |
开源 |
使用OmniMV物化视图解析Spark日志时使用的功能包。 |
||
hive-testbench |
hive-testbench-hdp3.zip |
开源 |
生成TPC-DS/TPCH数据时使用的TestBench源码包。 |
从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。
校验方法:
https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054