修改Spark配置文件

修改spark-env.sh

1. 以spark-env.sh.template为模板，拷贝一份命名为spark-env.sh。

   1	cp spark-env.sh.template spark-env.sh

2. 打开spark-env.sh文件。

   1	vi spark-env.sh

3. 按“i”进入编辑模式，修改环境变量JAVA_HOME为绝对路径，并指定Hadoop目录、Spark Master的IP和端口号、Spark所在目录。

   1 2 3 4 5 6

   export JAVA_HOME=/usr/local/jdk8u252-b09 export HADOOP_HOME=/usr/local/hadoop export SCALA_HOME=/usr/local/scala export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=server1 export SPARK_MASTER_PORT=7077

4. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

修改spark-defaults.conf

1
2
3
4
5

echo "spark.master                     yarn" >> spark-defaults.conf
echo "spark.eventLog.enabled           true" >> spark-defaults.conf
echo "spark.eventLog.dir               hdfs://server1:9000/spark2-history" >> spark-defaults.conf
echo "spark.eventLog.compress          true" >> spark-defaults.conf
echo "spark.history.fs.logDirectory    hdfs://server1:9000/spark2-history" >> spark-defaults.conf

创建spark2-history文件夹

1

hdfs dfs -mkdir /spark2-history

同步hadoop的core-site.xml和hdfs-site.xml

同步文件。

1
2

cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/spark/conf
cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/spark/conf

同步mariadb-java-client包

若业务中使用到Hive数据库时需要执行以下步骤同步mariadb-java-client包。

同步文件。

1

cp /usr/local/hive/lib/mariadb-java-client-2.3.0.jar /usr/local/spark/jars