---
title: 介绍
description: "本文档指导用户在Linux环境下部署并验证一个可用的Spark集群。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark_04_0001.html
sourcePath: /source/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark_04_0001.html
indexId: accec141a4d321a7636d1bb7c257660236afe64d38d5f4141f5ec6cf8c11a30f69
---
# 介绍

本文档指导用户在Linux环境下部署并验证一个可用的Spark集群。

为了处理海量数据，提升计算效率，将Spark从x86平台迁移到鲲鹏平台后，通常需要构建一个Spark集群。

#### 简要介绍

Spark是一种高性能的分布式计算框架，专为大规模数据处理而设计，支持在Standalone模式或Yarn模式下运行。

Spark集群可以选择部署以下核心组件：

- Hadoop：如需访问HDFS数据或使用Yarn作为资源管理器，需需要预先部署Hadoop环境。
- ZooKeeper：仅在Standalone下实现高可用配置时使用，用于Master节点的故障切换。


- 本文档主要介绍软件的部署流程，不涉及源码编译内容。
- 文档中所使用的软件均从官网下载，这类软件通常基于x86架构编译。若软件包含非跨平台语言（如C/C++）实现的模块，直接在鲲鹏服务器上运行可能会出现兼容性问题，此时需下载对应的源码包，在鲲鹏服务器上进行编译后再部署。但无论软件是在何种环境中编译生成，其部署步骤是一致的。


#### 使用背景

鲲鹏平台基于Arm架构的多核并发特性，可提升大数据任务的并行度，加速计算性能。在鲲鹏平台上部署Spark集群，通过硬件多核并发优势与软件生态优化，可以实现从x86到Arm架构的高效迁移，支撑海量数据处理、实时分析与复杂算法的高性能需求。


#### 读者对象

本文档旨在指导了解大数据背景知识、具备大数据开发经验的用户完成Spark集群的部署，适合所有希望在本地或生产环境中部署和运行Spark集群的技术人员或学习者。面向的读者对象主要包括以下几类人群：

- 大数据工程师、运维工程师：具备Linux系统基础操作能力（如SSH、环境变量配置）、分布式系统概念认知及Hadoop/YARN生态基础，熟悉Scala/Python开发环境搭建，需要部署和维护Spark集群的开发人员，希望通过文档了解如何搭建和配置Spark环境。
- 高校学生或开发者：学习大数据技术的学生或技术爱好者，希望通过实践部署Spark集群，加深对Spark工作原理和配置的理解。
- IT项目经理：在规划大数据项目时需要对Spark的部署流程有基本了解，以便评估项目实施的可行性和时间成本。
- 云平台或集群管理工具开发者：开发与Spark集成的工具或服务的工程师，可以参考该文档中关于配置和部署的步骤，以适配自身产品。