编译并配置Spark

编译和配置Spark，包括编译、部署和配置环境变量，确保Spark能够顺利运行并为后续的分布式任务处理做好准备。

下文以Spark 3.3.1版本为例描述编译并配置Spark的操作步骤，其他版本的Spark也可参考本章节。操作步骤中的spark-3.3.1-bin-hadoop3.2为Spark软件部署包名称，请根据实际情况修改。

1. 请参见《Spark 移植指南（CentOS&openEuler）》编译出Spark软件部署包。
2. 将Spark软件部署包上传于server1节点的“/usr/local”目录并解压。

   1 2 3

   cd /usr/local/ mv spark-3.3.1-bin-hadoop3.2.tgz /usr/local tar -zxvf spark-3.3.1-bin-hadoop3.2.tgz

3. 建立软链接，便于后期版本更换。

   1	ln -s spark-3.3.1-bin-hadoop3.2 spark

4. 将Spark添加到环境变量。
   1. 打开“/etc/profile”文件。

      1	vi /etc/profile

   2. 按“i”进入编辑模式，在文件末尾添加以下内容。

      1 2	export SPARK_HOME=/usr/local/spark export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

   3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
   4. 使环境变量生效。

      1	source /etc/profile