(可选)安装Spark UDF插件

如需使用特定的数据处理操作,可使用OmniOperator算子加速 UDF功能的情况下,才需要安装Spark UDF插件。

前提条件

已经按照安装Spark引擎完成Spark引擎的安装。

安装插件

  1. 将UDF依赖的JAR放置到HDFS的“/user/hive-udf”目录下。

    • “/user/hive-udf”目录用户可自行定义。
    • UDF依赖的JAR需要用户自行提供。

  2. 在集群的管理节点注册Hive UDF。

    注册方式参考Spark集成HiveUDF官方文档