JDK优化
- 下载毕昇JDK地址。
- 更换毕昇JDK。
- 停止集群。
- 将BiSheng JDK解压并移动到“/usr/local/”下.
1 2
tar –zxvf bisheng-jdk-8u262-linux-aarch64.tar.gz mv bisheng-jdk1.8.0_262 /usr/local/
- 将原来已有的JDK文件重命名并将BiSheng JDK重命名为原来的JDK的文件名并更改权限。
1 2 3
mv jdk8u222-b10/ jdk8u222-b10-openjdk/ mv bisheng-jdk1.8.0_262/ jdk8u222-b10/ chmod -R 755 jdk8u222-b10/
- 重启集群。
- 参数优化。
- 打开Spark配置文件。
1
vi /opt/HiBench-HiBench-7.0/conf/spark.conf
- 按“i”进入编辑模式,修改spark.executor.extraJavaOptions的值。
1 2 3
spark.executor.extraJavaOptions -XX:+UnlockExperimentalVMOptions -XX:+EnableIntrinsicExternal -XX:+UseF2jBLASIntrinsics -Xms43g -XX:ParallelGCThreads=8
-xms(n)g取决于“/opt/HiBench-HiBench-7.0/conf/spark.conf”中spark.executor.memory值得大小n的值建议设置为spark.executor.memory的值减1。
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 打开Spark配置文件。
父主题: Spark2x优化