# Bayesian（CPU密集型）

#### 目的

Bayesian是CPU密集型场景，可以对IO参数和Spark执行参数进行调整。


#### 方法

- 该场景可以使用以下分片设置：
  1 2 spark.sql.shuffle.partitions 1000 spark.default.parallelism 2500

- 打开HiBench工具的“conf/spark.conf”文件，增加以下Executor参数：
  1 2 3 4 yarn.executor.num 9 yarn.executor.cores 25 spark.executor.memory 73G spark.driver.memory 36G

- 该场景使用以下内核参数：
  1 2 3 4 5 6 echo mq-deadline > /sys/block/sd$i/queue/scheduler echo 0 > /sys/module/scsi_mod/parameters/use_blk_mq echo 50 > /proc/sys/vm/dirty_background_ratio echo 80 > /proc/sys/vm/dirty_ratio echo 500 > /proc/sys/vm/dirty_expire_centisecs echo 100 > /proc/sys/vm/dirty_writeback_centisecs

- 调整JDK参数，以下配置添加到spark.conf文件中：
  1 spark.executor.extraJavaOptions -XX:+UseNUMA -Xms60g -Xmn25g -XX:+UseParallelOldGC -XX:ParallelGCThreads=24 -XX:+AlwaysPreTouch -XX:-UseAdaptiveSizePolicy