鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

使用Spark任务前台劫持功能

当开启enable_omniadvisor环境变量后,直接提交spark-submit或spark-sql的任务,即可触发参数调优2.0的前台任务劫持功能。

  1. 开启enable_omniadvisor环境变量。
    export enable_omniadvisor=true

    变量配置成功了即代表前台劫持功能可以使用。

  2. 提交spark-sql任务。
    spark-sql --master yarn --deploy-mode client --driver-cores 8 --driver-memory 20G --num-executors 36 --executor-cores 8 --executor-memory 29g -e "SHOW DATABASES"

    若返回OmniAdvisor is enabled,则表明OmniAdvisor正常启用。

  3. 查看日志文件中的实际执行记录。
    cat $OMNIADVISOR_HOME/omniruntime-omniadvisor-2.0.0/logs/app.log