鲲鹏 920+openEuler20.03 环境 Hive-Tez 单 Map 任务数据 165MB 执行耗时 15min,频繁 FullGC 优化求助
收藏回复举报
鲲鹏 920+openEuler20.03 环境 Hive-Tez 单 Map 任务数据 165MB 执行耗时 15min,频繁 FullGC 优化求助
t('forum.solved') 已解决
新人帖
发表于2026-06-02 11:52:54
0 查看

1. 基础环境信息

硬件:鲲鹏 920 ARM 服务器集群,YARN3.3、Hive3.1.2、Tez0.10.1;

  • 系统:openEuler 20.03 LTS;

  • 容器配置:hive.tez.container.size=8192MB,堆内存配置-Xmx6144m,G1GC。

2. 问题现象

在执行一个简单的查询任务时(无复杂的 Join 或聚合),监控发现以下异常:

  • 数据量极小:Input Split 大小仅为 165MB。

  • 耗时极长:单个 Map Task 的执行时间竟然长达 15分钟(正常情况下秒级或分钟级应完成)。

  • GC 异常:通过 YARN 日志或监控观察,该 Container 在运行期间发生了非常频繁的 Full GC,导致 CPU 几乎全部消耗在 GC 上,业务逻辑处理停滞。

本帖最后由 匿名用户2026/06/02 11:54:15 编辑

我要发帖子