JDK优化

  1. 下载毕昇JDK地址。

    下载地址：https://mirrors.huaweicloud.com/kunpeng/archive/compiler/bisheng_jdk/bisheng-jdk-8u262-linux-aarch64.tar.gz

  2. 更换毕昇JDK。

    1. 停止集群。
    2. 将BiSheng JDK解压并移动到“/usr/local/”下.
      1
2
      tar –zxvf  bisheng-jdk-8u262-linux-aarch64.tar.gz
mv bisheng-jdk1.8.0_262  /usr/local/
    3. 将原来已有的JDK文件重命名并将BiSheng JDK重命名为原来的JDK的文件名并更改权限。
      1
2
3
      mv jdk8u222-b10/  jdk8u222-b10-openjdk/
mv bisheng-jdk1.8.0_262/  jdk8u222-b10/
chmod -R 755 jdk8u222-b10/
    4. 重启集群。

  3. 参数优化。

    1. 打开Spark配置文件。
      1
      vi /opt/HiBench-HiBench-7.0/conf/spark.conf
    2. 按“i”进入编辑模式，修改spark.executor.extraJavaOptions的值。
      1
2
3
      spark.executor.extraJavaOptions -XX:+UnlockExperimentalVMOptions
-XX:+EnableIntrinsicExternal -XX:+UseF2jBLASIntrinsics -Xms43g
-XX:ParallelGCThreads=8

      -xms（n）g取决于“/opt/HiBench-HiBench-7.0/conf/spark.conf”中spark.executor.memory值得大小n的值建议设置为spark.executor.memory的值减1。

    3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

父主题： Spark2x优化