启动并配置Spark History Server

在使用OmniAdvisor参数调优2.0特性之前，需激活Anaconda，启动Spark History Server服务，请确保管理节点已满足本章条件。

1. 使用如下命令激活Anaconda。

   conda activate OmniAdvisor2.0

2. 在Spark的“sbin”目录下，使用如下命令启动Spark History Server服务。

   sh $SPARK_HOME/sbin/start-history-server.sh

3. 验证Spark History Server启动成功。

   在浏览器中输入http://<server1>:18080或者https://<server1>:18480查看UI。HTTP模式默认端口为18080，HTTPS模式默认端口为18480。

   

4. 可选：修改Spark History Server的端口。

   Spark History Server的默认端口为18080。若该端口被占用，可通过调整配置来修改Spark History Server的端口为其他未被占用的端口。此处以将端口修改为18181为例进行说明。

   1. 打开“$SPARK_HOME/conf/spark-defaults.conf”配置文件。

      vi $SPARK_HOME/conf/spark-defaults.conf

   2. 按“i”进入编辑模式，添加或修改spark.history.ui.port字段为新的端口号18181。

      spark.history.ui.port 18181

   3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
   4. 重启Spark History Server服务。

      在Spark的“sbin”目录下，使用如下命令停止和启动Spark History Server服务。

      # 停止Spark History Server
      sh $SPARK_HOME/sbin/stop-history-server.sh
      # 启动Spark History Server
      sh $SPARK_HOME/sbin/start-history-server.sh