TPC-DS SQL调优
目的
在TPC-DS SQL测试中,鲲鹏平台在某些场景下(如数据量小)与x86平台性能差异较小,需通过合理的软硬件配置和参数调优,充分挖掘鲲鹏平台的性能潜力,尤其是在大数据量处理时,提升CPU利用率和计算效率,从而在端到端性能中体现出鲲鹏平台的优势。
方法
- 确认硬件环境配置的合理性,建议根据实际情况保证硬件环境的配置和搭建合理(RAID控制卡Cache策略、网卡配置、块设备配置等)。
- 合理设置客户端和Web服务的基础配置,确保SQL请求能够高效提交并返回结果,避免因配置不当导致性能瓶颈。
- 通过理论分析得到适合鲲鹏平台的Executor参数,提升CPU利用率和任务执行效率。
父主题: Spark调优