鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

Hive MetaStore远程部署,出现q64卡顿

问题现象描述

Hive的MetaStore使用远程部署,运行1TB ORC TPCDS-99时,q64会卡住,实际产生笛卡尔积。系统持续进行join操作,导致任务停滞。

关键过程、根本原因分析

该现象在Hive开源版本执行SQL时也可能会出现,即先后运行q44和q64时,MetaStore缓存导致q64的执行计划发生变化,产生笛卡尔积,从而导致数据量过大。

结论、解决方案及效果

方案1:使用本地模式部署即可避免SQL语句之间因缓存引起的执行计划变化。

方案2:使用远程模式部署时,优先执行q64,将q64的执行顺序调整至q44之前。