TPCDS分区表SQL5、13、25、62、88和99报错的解决方法

问题现象描述

TPCDS分区表SQL5、13、25、62、88和99报错，报错信息如下。

1

DeserializeRead detail: Reading byte[] of length 4096 at start offset 532 for length 2 to read 1 fields with types [int].  Read field #1 at field start position 0 current read offset 534

关键过程、根本原因分析

Hive参数配置有误。

结论、解决方案及效果

• 在Hive的配置文件hive-site.xml中加入以下参数。

  1 2 3 4 5 6 7 8 9

  <property> <name>hive.mapjoin.hybridgrace.hashtable</name> <value>false</value> </property> <property> <name>hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled</name> <value>true</value> </property>

• 使用set命令设置环境变量。

  1 2	set hive.mapjoin.hybridgrace.hashtable=false; set hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled=true;