Hive MetaStore远程部署,出现q64卡住
问题现象描述
Hive的MetaStore使用远程部署,运行1TB ORC TPCDS-99时,q64会卡住,实际产生笛卡尔积,一直在进行join。
关键过程、根本原因分析
该现象在Hive开源版本执行SQL时也可能会出现,即先后运行q44和q64时,MetaStore缓存导致q64的执行计划发生变化,产生笛卡尔积,数据量过大。
结论、解决方案及效果
方案1:使用本地模式部署即可避免SQL间由于缓存导致的执行计划发生变化。
方案2:使用远程模式部署时,调整q64的执行顺序,优先执行q64,调整到q44之前。
父主题: 故障排除