sql4-CPU密集
目的
sql4是CPU密集型场景,可以优化Spark执行参数、调整IO参数来带来最佳性能。
方法
Spark-Test-Tool在配置文件中指定的运行核数、内存大小可以根据实际环境来做调整,来达到最优性能。比如对于鲲鹏920 5220处理器,sql4场景建议以下Executor参数。
- 打开工具目录下的script/spark-default.conf文件,添加以下配置项:
1 2 3 4
yarn.executor.num 42 yarn.executor.cores 6 spark.executor.memory 15G spark.driver.memory 36G
- 同时调整IO预取值,其中sd$i表示所有参与Spark的磁盘名:
1
echo 4096 > /sys/block/sd$i/queue/read_ahead_kb
父主题: 专用场景优化项--SQL场景