安装OmniOperator算子加速

下述步骤需在管理节点和所有计算节点操作。

  1. 软件获取中OmniOperator算子加速相关压缩文件上传到管理节点和计算节点的“/opt/omni-operator/”目录。
  2. 进入“/opt/omni-operator/”目录解压OmniOperator算子加速相关文件。

    cd /opt/omni-operator/
    unzip BoostKit-omniop_1.1.0.zip
    tar -zxvf boostkit-omniop-operator-1.1.0-aarch64.tar.gz

  3. 拷贝OmniOperator算子加速相关文件到“/opt/omni-operator/lib”目录下,并将该目录下的软件包权限设置为550。

    cd /opt/omni-operator/boostkit-omniop-operator-1.1.0-aarch64
    cp -r include libboostkit* boostkit-omniop* config.h libsecurec.so /opt/omni-operator/lib/
    chmod 550 /opt/omni-operator/lib/*

  4. “/opt/omni-operator”下创建conf文件夹,并在文件夹下新增omni.conf文件以及修改配置文件权限为640,用于配置OmniOperator算子加速配置项。

    cd /opt/omni-operator
    mkdir conf
    cd conf
    touch omni.conf
    chmod 640 omni.conf

  5. “/opt/omni-operator/conf/omni.conf”文件中新增配置内容。

    1. 打开“/opt/omni-operator/conf/omni.conf”文件。
      vim /opt/omni-operator/conf/omni.conf
    2. 新增配置内容。
      enableHMPP=true  //true表示开启HMPP,false表示关闭HMPP(默认关闭),用户根据需要自行开启/关闭
      #enableBatchExprEvaluate=false    //false表示使用表达式行处理,true表示使用表达式批处理
      #hiveUdfPropertyFilePath=/opt/omni-operator/hive-udf/udf.properties   //udf白名单文件路径
      #hiveUdfDir=/opt/omni-operator/hive-udf/udf   //hive udf jar所在目录路径
    3. 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。

  6. 通过vim打开“~/.bashrc”文件,在该文件中追加LD_LIBRARY_PATH的内容更新环境变量。

    1. 打开“~/.bashrc”文件。
      vim ~/.bashrc
    2. 追加LD_LIBRARY_PATH的内容更新环境变量
      export LD_LIBRARY_PATH=/opt/omni-operator/lib:/usr/local/lib/HMPP:$LD_LIBRARY_PATH
    3. 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
    4. 执行以下命令更新环境变量。
      source ~/.bashrc