sql3-IO+CPU

目的

sql3是IO+CPU密集型场景，可以优化Spark执行参数、调整IO参数来带来最佳性能。

方法

• Spark-Test-Tool在配置文件（script/spark-default.conf）中指定的运行核数、内存大小可以根据实际环境来做调整，来达到最优性能。比如对于鲲鹏920 5220处理器，sql3场景建议以下Executor参数。

  1 2 3 4

  yarn.executor.num 30 yarn.executor.cores 6 spark.executor.memory 24G spark.driver.memory 36G