---
title: （24.0.RC1已下线）Spark 3.1.1版本开启OmniOperator运行10T大数据集时，偶发Task卡死问题的解决方法
description: "基于毕昇JDK 1.8.0.342版本，在Spark 3.1.1中，10TB大数据集开启OmniOperator执行SQL业务时，因JDK在高并发场景类加载机制存在缺陷，低概率导致Spark Task卡死，作业无法结束的问题。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2300/bds/kunpengbds_omniruntime_20_0234.html
sourcePath: /source/zh/kunpengboostkithistory/2300/bds/kunpengbds_omniruntime_20_0234.html
indexId: a13c509539c41a411c794154bf82c11fb42ff5ea3b1ef7d3b4f0fff977bb6f6378
---
# （24.0.RC1已下线）Spark 3.1.1版本开启OmniOperator运行10T大数据集时，偶发Task卡死问题的解决方法

#### 问题现象描述

基于毕昇JDK 1.8.0.342版本，在Spark 3.1.1中，10TB大数据集开启OmniOperator执行SQL业务时，因JDK在高并发场景类加载机制存在缺陷，低概率导致Spark Task卡死，作业无法结束的问题。


#### 关键过程、根本原因分析

在高并发场景下，毕昇JDK 1.8.0.342版本在处理调用JNI接口进行类加载时，因JDK的缺陷可能导致线程死锁问题，参考社区ISSUEJDK-8266310(https://bugs.openjdk.org/browse/JDK-8266310)。


#### 结论、解决方案及效果

在Spark Web UI中找到卡死的Task所属的Executor（如下图所示），并在后台人工执行kill命令停止Executor进程即可，该操作不影响任务结果的一致性。