Spark应用参数

目的

在Spark基础配置值的基础上，按照理论公式得到一组较合理的Executor执行参数，使能在鲲鹏上会带来明显的性能提升。

方法

• 如果用Spark-Test-Tool工具测试sql1~sql10场景，打开工具目录下的“script/spark-default.conf”文件，添加以下配置项：

  1 2 3 4

  yarn.executor.num 15 yarn.executor.cores 19 spark.executor.memory 44G spark.driver.memory 36G

• 如果使用HiBench工具测试wordcount、terasort、bayesian、kmeans场景，打开工具目录下的“conf/spark.conf”文件，可以根据实际环境对运行核数、内存大小做调整：

  1 2 3 4

  yarn.executor.num 15 yarn.executor.cores 19 spark.executor.memory 44G spark.driver.memory 36G