集群中各节点的硬件要求如表1所示。
硬件环境 |
管理节点 |
计算/存储节点 |
|---|---|---|
处理器 |
鲲鹏920 5220处理器 |
鲲鹏920 5220处理器 |
内存大小 |
384GB（12 * 32GB） |
384GB（12 * 32GB） |
内存频率 |
2666MHz |
2666MHz |
网卡 |
|
|
硬盘 |
|
|
RAID卡 |
LSI SAS3508 |
LSI SAS3508 |
集群中各节点操作系统和软件要求如表2所示。
项目 |
版本 |
说明 |
管理节点 Server |
计算/存储节点 |
|---|---|---|---|---|
操作系统 |
openEuler 22.03 LTS |
- |
√ |
√ |
JDK |
BiSheng JDK 1.8（优选BiSheng JDK 1.8.0_342） |
openEuler 22.03 LTS与BiSheng JDK 1.8.0_262不兼容，需更换为BiSheng JDK 1.8.0_342。 |
√ |
√ |
Hadoop |
3.2.0 |
部署指南请参考：《Hadoop 集群部署（CentOS 7.6&openEuler 20.03）》 |
√ |
√ |
Hive |
3.1.0 |
部署指南请参考：《Hive 部署指南（CentOS 7.6&openEuler 20.03）》 |
√ |
- |
Spark |
3.1.1 |
部署指南请参考：《Spark 部署指南（CentOS 7.6&openEuler 20.03）》 |
√ |
√ |
ZooKeeper |
3.6.2及以上 |
- |
√ |
|
ClickHouse |
22.3.6.5 |
- |
√ |
√ |
Python |
3.10.2及以上 |
- |
√ |
√ |
安装OmniMV物化视图所需软件包及其获取方式如表3所示。
名称 |
包名 |
发布类型 |
说明 |
获取地址 |
|---|---|---|---|---|
OmniRuntime压缩包 |
BoostKit-omniruntime_1.0.0.zip |
闭源 |
OmniRuntime压缩包，压缩包解压可获得OmniOperator算子加速二进制包和OmniMV物化视图二进制包。 |
鲲鹏社区：Link |
OmniMV物化视图Plugin的JAR包 |
boostkit-omnimv-spark-3.1.1-1.1.0-aarch64.jar |
开源 |
使用OmniMV物化视图能力时，Spark引擎扩展包。 |
|
OmniMV物化视图日志解析JAR包 |
boostkit-omnimv-logparser-spark-3.1.1-1.1.0-aarch64.jar |
开源 |
使用OmniMV物化视图解析Spark日志时使用的功能包。 |
|
hive-testbench |
hive-testbench-hdp3.zip |
开源 |
生成TPC-DS/TPCH数据时使用的TestBench源码包。 |
从鲲鹏社区获取的软件安装包，下载软件安装包后需要校验软件安装包，确保与网站上的原始软件安装包一致。
校验方法：
https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054