使用Spark任务前台劫持功能
当开启enable_omniadvisor环境变量后,直接提交spark-submit或spark-sql的任务,即可触发参数调优2.0的前台任务劫持功能。
- 开启enable_omniadvisor环境变量。
export enable_omniadvisor=true
变量配置成功了即代表前台劫持功能可以使用。
- 提交spark-sql任务。
spark-sql --master yarn --deploy-mode client --driver-cores 8 --driver-memory 20G --num-executors 36 --executor-cores 8 --executor-memory 29g -e "SHOW DATABASES"

若返回OmniAdvisor is enabled,则表明OmniAdvisor正常启用。
- 查看日志文件中的实际执行记录。
cat $OMNIADVISOR_HOME/omniruntime-omniadvisor-2.0.0/logs/app.log

父主题: 使用OmniAdvisor参数调优2.0