鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

sql3-IO+CPU

目的

sql3是IO+CPU密集型场景,可以优化Spark执行参数、调整IO参数来带来最佳性能。

方法

  • Spark-Test-Tool在配置文件(script/spark-default.conf)中指定的运行核数、内存大小可以根据实际环境来做调整,来达到最优性能。比如对于鲲鹏920 5220处理器,sql3场景建议以下Executor参数。
    1
    2
    3
    4
    yarn.executor.num 30
    yarn.executor.cores 6
    spark.executor.memory 24G
    spark.driver.memory 36G
    
  • 调整IO预取值,其中sd$i表示所有参与Spark的磁盘名:
    1
    echo 4096 > /sys/block/sd$i/queue/read_ahead_kb
    
  • 其余参数都使用硬件优化的默认参数。