优化Spark应用参数

目的

基于Spark的基础配置，通过理论公式计算，合理设置Executor执行参数，从而显著提升Spark应用的性能表现。

方法

• 如果用Spark-Test-Tool工具测试sql1～sql10场景，打开工具目录下的“script/spark-default.conf”文件，在文件中添加以下配置项：

  1 2 3 4

  yarn.executor.num 15 yarn.executor.cores 19 spark.executor.memory 44G spark.driver.memory 36G

• 如果使用HiBench工具测试WordCount、Terasort、Bayesian或K-means场景，打开工具目录下的“conf/spark.conf”文件，可以根据实际环境调整运行核数、内存大小，添加如下配置项：

  1 2 3 4

  yarn.executor.num 15 yarn.executor.cores 19 spark.executor.memory 44G spark.driver.memory 36G