鲲鹏社区首页
中文
注册
开发者
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

前提条件

在使用OmniAdvisor参数调优2.0特性之前,需激活或启动相应服务,请确保管理节点已满足本章条件。

  1. 使用如下命令激活Anaconda。
    conda activate OmniAdvisor2.0
  2. 在Spark的“sbin”目录下,使用如下命令启动Spark History Server服务。
    sh $SPARK_HOME/sbin/start-history-server.sh
  3. 验证History Server启动成功。

    在浏览器中输入http://<server1>:18080查看UI(默认端口为18080)。

  4. 可选:修改History Server的端口。

    Spark History Server的默认端口为18080。若该端口被占用,可通过调整配置来修改History Server的端口为其他未被占用的端口。此处以将端口修改为18181为例进行说明。

    1. 打开“$SPARK_HOME/conf/spark-defaults.conf”配置文件。
      vi $SPARK_HOME/conf/spark-defaults.conf
    2. “i”进入编辑模式,添加或修改spark.history.ui.port字段为新的端口号18181。
      spark.history.ui.port 18181
    3. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。
    4. 重启History Server。

      在Spark的“sbin”目录下,使用如下命令停止和启动Spark History Server服务。

      # 停止History Server
      sh $SPARK_HOME/sbin/stop-history-server.sh
      # 启动History Server
      sh $SPARK_HOME/sbin/start-history-server.sh