其他调优
1 2 3 4 5 6 7 | echo cfq > /sys/block/sd$i/queue/scheduler echo 512 > /sys/block/sd$i/queue/nr_requests echo 8192 > /sys/block/sd$i/queue/read_ahead_kb echo 4 > /sys/block/sd$i/queue/iosched/slice_idle echo 0 > /sys/module/scsi_mod/parameters/use_blk_mq echo 500 > /proc/sys/vm/dirty_expire_centisecs echo 100 > /proc/sys/vm/dirty_writeback_centisecs |
- 该场景下采用3-5倍总核数作为数据分片的Partitions和Parallelism进行数据分片，减小单Task文件大小，对性能有正面提升。可以使用以下分片设置：
1 2
spark.sql.shuffle.partitions 1000 spark.default.parallelism 2000
- HiBench在配置文件中指定的运行核数、内存大小可以根据实际环境来做调整，来达到最优性能。比如对于鲲鹏920 5220处理器，Terasort场景建议以下Executor参数：
1 2 3 4
yarn.executor.num 27 yarn.executor.cores 7 spark.executor.memory 25G spark.driver.memory 36G
父主题： Terasort–IO+CPU密集型