1. 基础环境信息
硬件:鲲鹏 920 ARM 服务器集群,YARN3.3、Hive3.1.2、Tez0.10.1;
2. 问题现象
在执行一个简单的查询任务时(无复杂的 Join 或聚合),监控发现以下异常:
-
数据量极小:Input Split 大小仅为 165MB。
-
耗时极长:单个 Map Task 的执行时间竟然长达 15分钟(正常情况下秒级或分钟级应完成)。
-
GC 异常:通过 YARN 日志或监控观察,该 Container 在运行期间发生了非常频繁的 Full GC,导致 CPU 几乎全部消耗在 GC 上,业务逻辑处理停滞。
1. 基础环境信息
硬件:鲲鹏 920 ARM 服务器集群,YARN3.3、Hive3.1.2、Tez0.10.1;
系统:openEuler 20.03 LTS;
容器配置:hive.tez.container.size=8192MB,堆内存配置-Xmx6144m,G1GC。
2. 问题现象
在执行一个简单的查询任务时(无复杂的 Join 或聚合),监控发现以下异常:
数据量极小:Input Split 大小仅为 165MB。
耗时极长:单个 Map Task 的执行时间竟然长达 15分钟(正常情况下秒级或分钟级应完成)。
GC 异常:通过 YARN 日志或监控观察,该 Container 在运行期间发生了非常频繁的 Full GC,导致 CPU 几乎全部消耗在 GC 上,业务逻辑处理停滞。