---
title: 集群环境
description: "集群规划的环境由五台服务器组成，分别是客户端（1台）、控制节点（1台）、计算节点（3台），组网图如图1所示。其中控制节点作为大数据集群的server端，计算节点分别是大数据集群的agent1、agent2和agent3。在POC测试场景下，客户端可部署在控制节点上。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/algorithmaccelf_ml/kunpengbdssparkml_20_0021.html
sourcePath: /source/zh/kunpengbds/appAccelFeatures/algorithmaccelf_ml/kunpengbdssparkml_20_0021.html
indexId: f3f1c7f422c7f955cc8c746bd13a294a212dd00297ef91c0aa4e4a3f6c4ac86088
---
# 集群环境

集群规划的环境由五台服务器组成，分别是客户端（1台）、控制节点（1台）、计算节点（3台），组网图如图1所示。其中控制节点作为大数据集群的server端，计算节点分别是大数据集群的agent1、agent2和agent3。在POC测试场景下，客户端可部署在控制节点上。

图1 组网图

#### 集群硬件配置

集群内所有节点使用的环境如表1所示：


**表1 集群环境硬件配置**

| 项目 | 要求 |
| --- | --- |
| 处理器 | 鲲鹏920处理器/鲲鹏920新型号（80核） |
| 内存大小 | 384GB（12 \* 32GB） |
| 内存频率 | 2666MHz |
| 网卡 | 业务网络10GE，管理网络1GE |
| 硬盘 | 系统盘：1 \* RAID 0（1 \* 1.2TB SAS HDD） 数据盘：12 \* RAID 0（1 \* 4TB SATA HDD） |
| RAID卡 | LSI SAS3508 |


#### 集群软件版本

使用到的相关软件版本如下表2所示：


**表2 集群环境软件推荐配置**

| 项目 | 节点类型 | 要求 |
| --- | --- | --- |
| OS | 所有节点 | openEuler 22.03 LTS SP1 |
| JDK | 所有节点 | 毕昇JDK 1.8.0\_342 |
| ZooKeeper | 计算节点 | 3.6.2 |
| Hadoop | 所有节点 | 3.2.0 |
| Spark | 所有节点 | Spark 3.3.1 |


- 集群部署可参考《  Spark集群 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengbds_04_0011.html)
》，Spark部署模式为Spark on Yarn。
- 当前鲲鹏算法库兼容Spark 3.3.1（仅支持部分算法，详情请参见  约束与限制
），其他平台暂未验证，基于安全诉求，建议使用高版本。