---
title: （可选）安装Spark/Hive UDF插件
description: "如需使用特定的数据处理操作，可使用UDF函数下推到OmniData算子下推服务时，需安装UDF依赖包、配置Hive UDF插件等步骤，请根据实际情况上传UDF的JAR包。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2400/bds/kunpengbds_omniruntime_20_0125.html
sourcePath: /source/zh/kunpengboostkithistory/2400/bds/kunpengbds_omniruntime_20_0125.html
indexId: 7123e80ae70a39590226a03599d54fb962603ff44923b362e7b23c40f5ea21aa78
---
# （可选）安装Spark/Hive UDF插件

如需使用特定的数据处理操作，可使用UDF函数下推到OmniData算子下推服务时，需安装UDF依赖包、配置Hive UDF插件等步骤，请根据实际情况上传UDF的JAR包。

当需要把UDF函数下推到OmniData算子下推服务时，需要安装UDF依赖包，以huawei-udf为例。

1. HDFS上传huawei_udf.jar。
  1 2 hdfs dfs -mkdir -p /user/BICoreData/hive/fiudflib2/ hdfs dfs -put huawei_udf.jar /user/BICoreData/hive/fiudflib2/

2. 运行UDF前需要将其注册到metastore，注册的方式有很多，本节以isEmpty为例。
  1 2 set spark.sql.ndp.udf.whitelist=isEmpty; CREATE TEMPORARY FUNCTION isEmpty AS 'com.huawei.platform.bi.udf.common.IsEmptyUDF' USING JAR 'hdfs:/user/BICoreData/hive/fiudflib2/huawei_udf.jar';

3. 配置Hive UDF插件。
  在OmniData算子下推Hive UDF配置文件hive.properties中添加注册IsEmpty com.huawei.platform.bi.udf.common.IsEmptyUDF函数。详见添加Hive UDF插件。

4. 运行Spark Hive UDF算子下推。
  1 /usr/local/spark/bin/spark-sql --driver-class-path '/opt/boostkit/*' --jars '/opt/boostkit/*' --conf 'spark.executor.extraClassPath=./*' --name IsEmptyUDF.sql --driver-memory 50G --driver-java-options -Dlog4j.configuration=file:../conf/log4j.properties --executor-memory 32G --num-executors 30 --executor-cores 18 --properties-file tpch_query.conf --database tpch_flat_orc_date_5 -f IsEmptyUDF.sql;

  执行结果如下。

  IsEmptyUDF.sql文件的内容如下。 1 2 3 4 set spark.sql.ndp.udf.whitelist=isEmpty; CREATE TEMPORARY FUNCTION isEmpty AS 'com.huawei.platform.bi.udf.common.IsEmptyUDF' USING JAR 'hdfs:/user/BICoreData/hive/fiudflib2/huawei_udf.jar'; select sum(l_extendedprice) as sum_base_price from lineitem where !isEmpty(l_shipmode);