---
title: 环境要求
description: "本文基于CentOS或openEuler操作系统提供指导，在正式操作前请确保软硬件均满足要求。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark_04_0002.html
sourcePath: /source/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark_04_0002.html
indexId: 5c3474b78d5aa218672cda2d0c34bf336badc23d6144047600e7c9f00abea4ae69
---
# 环境要求

本文基于CentOS或openEuler操作系统提供指导，在正式操作前请确保软硬件均满足要求。

#### 硬件要求

最低配置：任意CPU、一根内存（大小不限）、一块硬盘（大小不限）。

具体配置视实际应用场景而定。


#### 操作系统和软件要求

适用于CentOS 7.4～7.6、openEuler 20.03～22.03操作系统。

本文以CentOS 7.6为例，介绍Spark集群部署。


**表1 操作系统和软件要求**

| 项目 | 版本 |
| --- | --- |
| OS | CentOS 7.4(https://vault.centos.org/altarch/7.4.1708/isos/aarch64/CentOS\-7\-aarch64\-Everything.iso) CentOS 7.5(https://vault.centos.org/altarch/7.5.1804/isos/aarch64/CentOS\-7\-aarch64\-Everything\-1804.iso) CentOS 7.6(https://vault.centos.org/altarch/7.6.1810/isos/aarch64/CentOS\-7\-aarch64\-Everything\-1810.iso) |
| OS | openEuler 20.03 LTS SP1(https://dl\-cdn.openeuler.openatom.cn/openEuler\-20.03\-LTS\-SP1/ISO/aarch64/openEuler\-20.03\-LTS\-SP1\-everything\-aarch64\-dvd.iso) openEuler 22.03 LTS(https://dl\-cdn.openeuler.openatom.cn/openEuler\-22.03\-LTS/ISO/aarch64/openEuler\-22.03\-LTS\-everything\-aarch64\-dvd.iso) |
| JDK | 毕昇JDK 1.8（建议选择毕昇JDK 1.8.0\_342）(https://mirror.iscas.ac.cn/kunpeng/archive/compiler/bisheng\_jdk/bisheng\-jdk\-8u262\-linux\-aarch64.tar.gz) |
| ZooKeeper | 3.4.6(https://archive.apache.org/dist/zookeeper/zookeeper\-3.4.6/) |
| Hadoop | 3.1.1(https://archive.apache.org/dist/hadoop/core/hadoop\-3.1.1/) 3.2.0(https://archive.apache.org/dist/hadoop/common/hadoop\-3.2.0/hadoop\-3.2.0.tar.gz) |
| Spark | 2.3.0(https://archive.apache.org/dist/spark/spark\-2.3.0/) 3.1.1(https://archive.apache.org/dist/spark/spark\-3.1.1/spark\-3.1.1\-bin\-hadoop3.2.tgz) 3.3.1(https://archive.apache.org/dist/spark/spark\-3.3.1/spark\-3.3.1\-bin\-hadoop3.tgz) 3.4.3(https://archive.apache.org/dist/spark/spark\-3.4.3/spark\-3.4.3\-bin\-hadoop3.tgz) 3.5.2(https://archive.apache.org/dist/spark/spark\-3.5.2/spark\-3.5.2\-bin\-hadoop3.tgz) |
| Scala | 2.12.10(https://downloads.lightbend.com/scala/2.12.10/scala\-2.12.10.tgz) |
| Hive | 3.1.0(https://archive.apache.org/dist/hive/hive\-3.1.0/apache\-hive\-3.1.0\-bin.tar.gz) |


#### 集群环境规划

本章节规划以四台机器分别作为集群的管理节点和计算/存储节点1～节点3。各个节点数据规格如表2所示。


**表2 集群环境规划**

| 节点名称 | IP地址 | 硬盘数 | JDK |
| --- | --- | --- | --- |
| 管理节点 | IPaddress1 | 系统盘：1 \* 4TB HDD 数据盘：12 \* 4TB HDD | OpenJDK jdk8u252\-b09 |
| 计算/存储节点1 | IPaddress2 | 系统盘：1 \* 4TB HDD 数据盘：12 \* 4TB HDD | OpenJDK jdk8u252\-b09 |
| 计算/存储节点2 | IPaddress3 | 系统盘：1 \* 4TB HDD 数据盘：12 \* 4TB HDD | OpenJDK jdk8u252\-b09 |
| 计算/存储节点3 | IPaddress4 | 系统盘：1 \* 4TB HDD 数据盘：12 \* 4TB HDD | OpenJDK jdk8u252\-b09 |


#### 软件规划

集群各节点的软件规划如表3所示。


**表3 软件规划**

| 节点名称 | 主机名称 | 服务名称 |
| --- | --- | --- |
| 管理节点 | server1 | NameNode、ResourceManager、Master |
| 计算/存储节点1 | agent1 | QuorumPeerMain、DataNode、NodeManager、JournalNode、Worker |
| 计算/存储节点2 | agent2 | QuorumPeerMain、DataNode、NodeManager、JournalNode、Worker |
| 计算/存储节点3 | agent3 | QuorumPeerMain、DataNode、NodeManager、JournalNode、Worker |