鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

调优思路

  1. 对SQL性能进行分析时,在客户端及Web按照基础固定值配置的基础上,按照理论计算公式得到较合理的一组Executor执行参数,使能在鲲鹏上效果明显的亲和性配置调优,进行SQL测试能跑出较优的一组性能结果。
  2. 在HiBench场景下,根据集群总核数,采用3-5倍总核数作为数据分片的Partitions和Parallelism进行数据分片,减小单Task文件大小,对性能有正面提升。
  3. 调优时尽量在任务运行时CPU与内存尽量压满,当然若不能满足同时压满,则优先压满CPU,然后根据实际GC的log判断是否需要增加内存;在内存需求较高的场景,最终逐步调整可能会趋向内存压满,CPU留有一定余量的情况。