---
title: Bayesian（CPU密集型）
description: "Bayesian是CPU密集型场景，可以对IO参数和Spark执行参数进行调整。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark2xhdpeu_05_0032.html
sourcePath: /source/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark2xhdpeu_05_0032.html
indexId: 794d53a506a53e6480dd6e0e7ea6773586a9e361eeb1a8d5709069202226dd8976
---
# Bayesian（CPU密集型）

#### 目的

Bayesian是CPU密集型场景，可以对IO参数和Spark执行参数进行调整。


#### 方法

- 该场景可以使用以下分片设置：
  1 2 spark.sql.shuffle.partitions 1000 spark.default.parallelism 2500

- 打开HiBench工具的“conf/spark.conf”文件，增加以下Executor参数：
  1 2 3 4 yarn.executor.num 9 yarn.executor.cores 25 spark.executor.memory 73G spark.driver.memory 36G

- 该场景使用以下内核参数：
  1 2 3 4 5 6 echo mq-deadline > /sys/block/sd$i/queue/scheduler echo 0 > /sys/module/scsi_mod/parameters/use_blk_mq echo 50 > /proc/sys/vm/dirty_background_ratio echo 80 > /proc/sys/vm/dirty_ratio echo 500 > /proc/sys/vm/dirty_expire_centisecs echo 100 > /proc/sys/vm/dirty_writeback_centisecs

- 调整JDK参数，以下配置添加到spark.conf文件中：
  1 spark.executor.extraJavaOptions -XX:+UseNUMA -Xms60g -Xmn25g -XX:+UseParallelOldGC -XX:ParallelGCThreads=24 -XX:+AlwaysPreTouch -XX:-UseAdaptiveSizePolicy