环境介绍

物理组网

物理环境采用控制节点*1+数据节点*3的部署方案,在网络层面,管理与业务分离部署,管理网络使用GE电口来进行网络间的通信,业务网络使用10GE光口来进行网络间的通信,组网如图1所示。

图1 物理环境组网

软件版本

使用到的相关软件版本如表1所示。

表1 相关软件版本信息

软件

版本(鲲鹏计算平台)

OS

CentOS 7.6

JDK

OpenJDK version 1.8.0_272

HDP

3.1.0

Zookeeper

3.4.9

Hadoop

3.1.1

Hive

3.0.0

Spark2x

2.3.0

Tez

0.9.0

节点部署规划

服务器

组件部署

server1

NameNode、ResourceManager、Timeline Service V2.0 Reader、YARN Registry DNS、Timeline Service V1.5、History Server、HBase Master、Zookeeper Server、Metricks Collector、Grafana、Activity Analyzer、Activity Explorer、HST Server、Hive Metastore、HiveServer2

agent1

SNameNode、DataNode

agent2

Zookeeper Server、DataNode

agent3

Zookeeper Server、DataNode