介绍

简要介绍

Spark是用于大规模数据处理的统一分析引擎，它的核心特性包括可伸缩架构与内存计算能力，支持实时流处理、机器学习和交互式查询等多场景应用，已成为轻量级大数据快速处理的统一平台，可部署于不同的存储和运行系统上。

关于Spark的更多信息请参见Spark官网。

开发语言：Scala

一句话描述：大规模数据计算引擎

使用背景

企业IT架构从x86平台向鲲鹏平台迁移的过程中，在部署Spark时面临架构适配、性能优化及生态兼容挑战。鲲鹏平台通过鲲鹏处理器提供高性能和低功耗的计算能力，在能效比、多核并行处理能力上具有显著优势。

读者对象

本文档旨在指导具备大数据开发经验的用户完成Spark从x86平台到鲲鹏平台的平滑迁移，实现Spark应用场景在鲲鹏平台的加速效果提升，助力企业实现技术转型。面向的读者对象需具备以下能力：

• 了解大数据的基本概念和技术，能够使用Spark开源软件进行大数据开发、编译和运行，具备集群性能调优与问题排查能力。
• 熟悉Scala语言与函数式编程，掌握Linux系统操作及集群部署。
• 了解Spark核心组件和基本工作原理。