sql4-CPU密集

目的

sql4是CPU密集型场景，可以优化Spark执行参数、调整IO参数来带来最佳性能。

方法

Spark-Test-Tool在配置文件中指定的运行核数、内存大小可以根据实际环境来做调整，来达到最优性能。比如对于鲲鹏920 5220处理器，sql4场景建议以下Executor参数。

• 打开工具目录下的script/spark-default.conf文件，添加以下配置项：

  1 2 3 4

  yarn.executor.num 42 yarn.executor.cores 6 spark.executor.memory 15G spark.driver.memory 36G