Hive MetaStore远程部署,出现q64卡顿
问题现象描述
Hive的MetaStore使用远程部署,运行1TB ORC TPCDS-99时,q64会卡住,实际产生笛卡尔积。系统持续进行join操作,导致任务停滞。
关键过程、根本原因分析
该现象在Hive开源版本执行SQL时也可能会出现,即先后运行q44和q64时,MetaStore缓存导致q64的执行计划发生变化,产生笛卡尔积,从而导致数据量过大。
结论、解决方案及效果
方案1:使用本地模式部署即可避免SQL语句之间因缓存引起的执行计划变化。
方案2:使用远程模式部署时,优先执行q64,将q64的执行顺序调整至q44之前。
父主题: 故障排除