鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

环境要求

本文基于CentOS或openEuler操作系统提供指导,在正式操作前请确保软硬件均满足要求。

硬件要求

最低配置:任意CPU、一根内存(大小不限)、一块硬盘(大小不限)。

具体配置视实际应用场景而定。

操作系统和软件要求

适用于CentOS 7.4~7.6、openEuler 20.03~22.03操作系统。

本文以CentOS 7.6为例,介绍Spark集群部署。

集群环境规划

本章节规划以四台机器分别作为集群的管理节点和计算/存储节点1~节点3。各个节点数据规格如表2所示。

表2 集群环境规划

节点名称

IP地址

硬盘数

JDK

管理节点

IPaddress1

系统盘:1 * 4TB HDD

数据盘:12 * 4TB HDD

OpenJDK jdk8u252-b09

计算/存储节点1

IPaddress2

计算/存储节点2

IPaddress3

计算/存储节点3

IPaddress4

软件规划

集群各节点的软件规划如表3所示。

表3 软件规划

节点名称

主机名称

服务名称

管理节点

server1

NameNode、ResourceManager、Master

计算/存储节点1

agent1

QuorumPeerMain、DataNode、NodeManager、JournalNode、Worker

计算/存储节点2

agent2

QuorumPeerMain、DataNode、NodeManager、JournalNode、Worker

计算/存储节点3

agent3

QuorumPeerMain、DataNode、NodeManager、JournalNode、Worker