JDK调优
目的
将原JDK替换为毕昇JDK,充分利用毕昇JDK的性能优势。
方法
毕昇JDK的安装与替换步骤如下:
- 下载毕昇JDK。
- 将当前使用的JDK替换为毕昇JDK。
- 停止集群服务,避免因JDK切换导致服务异常。
- 将毕昇JDK解压并移动到“/usr/local/”下。
1 2
tar -zxvf bisheng-jdk-8u262-linux-aarch64.tar.gz mv bisheng-jdk1.8.0_262 /usr/local/
- 重命名原有JDK目录并替换,同时修改目录权限。
将原JDK目录重命名,例如将“jdk8u222-b10/”重命名为“jdk8u222-b10-openjdk/”;再将毕昇JDK目录重命名为与原JDK目录相同的目录,例如“jdk8u222-b10/”。
1 2 3
mv jdk8u222-b10/ jdk8u222-b10-openjdk/ mv bisheng-jdk1.8.0_262/ jdk8u222-b10/ chmod -R 755 jdk8u222-b10/
- 重启集群服务,确保JDK变更生效。
- 修改Spark配置,充分利用毕昇JDK的优化特性。
- 打开Spark配置文件。
1vi /opt/HiBench-HiBench-7.0/conf/spark.conf - 按“i”进入编辑模式,修改spark.executor.extraJavaOptions的值。
1 2 3
spark.executor.extraJavaOptions -XX:+UnlockExperimentalVMOptions -XX:+EnableIntrinsicExternal -XX:+UseF2jBLASIntrinsics -Xms43g -XX:ParallelGCThreads=8
-Xms的值(如43g)应根据“/opt/HiBench-HiBench-7.0/conf/spark.conf”中spark.executor.memory的配置值来调整,建议设置为:spark.executor.memory的值减1。
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 打开Spark配置文件。
父主题: Spark调优