UDF插件行处理部署

下述步骤需在管理节点和所有计算节点操作。

  1. 将上述相关压缩文件上传到管理节点和计算节点的“/opt/omni-operator/hive-udf”目录。
  2. 执行以下命令解压相关压缩文件。

    unzip udf.zip
    rm -f udf.zip
    unzip conf.zip
    rm -f conf.zip

  3. “/opt/omni-operator/conf/omni.conf”文件中更新配置内容。

    1. 打开“/opt/omni-operator/conf/omni.conf”文件。
      vim /opt/omni-operator/conf/omni.conf
    2. 更新关于UDF配置相关内容。
      enableBatchExprEvaluate=false    //false表示使用表达式行处理,true表示使用表达式批处理
      hiveUdfPropertyFilePath=/opt/omni-operator/hive-udf/udf.properties   //udf白名单文件路径
      hiveUdfDir=/opt/omni-operator/hive-udf/udf   //hive udf jar所在目录路径
    3. 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。

  4. 通过vim打开“~/.bashrc”文件,在该文件中追加LD_LIBRARY_PATH的内容更新环境变量。

    1. 打开“~/.bashrc”文件。
      vim ~/.bashrc
    2. 追加LD_LIBRARY_PATH的内容更新环境变量
      export LD_LIBRARY_PATH=${JAVA_HOME}/jre/lib/aarch64/server:$LD_LIBRARY_PATH
    3. 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
    4. 执行以下命令更新环境变量。
      source ~/.bashrc

上述udf.zip、conf.zip等压缩包名称用户根据自己实际情况可进行自定义,本处仅提供示例。