JVM参数和版本适配

目的

最新版本的JDK对Spark性能进行了优化，为充分利用这些优化，需将服务器上的旧版本JDK替换为新版本，并配置Spark以使用新的JDK。

方法

在Spark的配置文件spark-defaults.conf中添加以下配置项以指定新的JDK路径和优化参数。

spark.executorEnv.JAVA_HOME /usr/local/jdk8u222-b10
spark.yarn.appMasterEnv.JAVA_HOME /usr/local/jdk8u222-b10
spark.executor.extraJavaOptions -XX:+UseNUMA -XX:BoxTypeCachedMax=100000 -XX:ParScavengePerStrideChunk=8192
spark.yarn.am.extraJavaOptions -XX:+UseNUMA -XX:BoxTypeCachedMax=100000 -XX:ParScavengePerStrideChunk=8192

父主题： 通用优化