JVM参数和版本适配
目的
最新版本的JDK对Spark性能进行了优化。
JDK参数更新
可在spark-defaults.conf文件中添加以下配置来使用新的JDK。
1 2 3 4 | spark.executorEnv.JAVA_HOME /usr/local/jdk8u222-b10 spark.yarn.appMasterEnv.JAVA_HOME /usr/local/jdk8u222-b10 spark.executor.extraJavaOptions -XX:+UseNUMA -XX:BoxTypeCachedMax=100000 -XX:ParScavengePerStrideChunk=8192 spark.yarn.am.extraJavaOptions -XX:+UseNUMA -XX:BoxTypeCachedMax=100000 -XX:ParScavengePerStrideChunk=8192 |
父主题： 通用优化项