前提条件
在使用OmniAdvisor参数调优2.0特性之前,需激活或启动相应服务,请确保管理节点已满足本章条件。
- 使用如下命令激活Anaconda。
conda activate OmniAdvisor2.0
- 在Spark的“sbin”目录下,使用如下命令启动Spark History Server服务。
sh $SPARK_HOME/sbin/start-history-server.sh
- 验证History Server启动成功。
在浏览器中输入http://<server1>:18080查看UI(默认端口为18080)。
- 可选:修改History Server的端口。
Spark History Server的默认端口为18080。若该端口被占用,可通过调整配置来修改History Server的端口为其他未被占用的端口。此处以将端口修改为18181为例进行说明。
- 打开“$SPARK_HOME/conf/spark-defaults.conf”配置文件。
vi $SPARK_HOME/conf/spark-defaults.conf
- 按“i”进入编辑模式,添加或修改spark.history.ui.port字段为新的端口号18181。
spark.history.ui.port 18181
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 重启History Server。
在Spark的“sbin”目录下,使用如下命令停止和启动Spark History Server服务。
# 停止History Server sh $SPARK_HOME/sbin/stop-history-server.sh # 启动History Server sh $SPARK_HOME/sbin/start-history-server.sh
- 打开“$SPARK_HOME/conf/spark-defaults.conf”配置文件。
父主题: 使用特性