鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

安装HiveExtension

OmniOperator算子加速特性支持Hive引擎,需在管理节点安装Hive引擎,并在管理节点和所有计算节点配置openEuler操作系统的HiveExtension依赖。

  1. 安装Hive引擎,具体请参考表2
  2. 下载HiveExtension插件包并解压。

    表3下载得到boostkit-omniop-hive-3.1.0-1.8.0-aarch64.zip,将boostkit-omniop-hive-3.1.0-1.8.0-aarch64.zip解压出boostkit-omniop-hive-3.1.0-1.8.0-aarch64.jar,并上传至集群管理节点。

  3. 安装openEuler操作系统的HiveExtension依赖。

    各系统镜像配置本地Yum源,执行以下命令安装依赖。

    yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
  4. 配置HiveExtension。
    1. 软件安装包获取中获取到Dependency_library软件安装包(Dependency_library.zip和Dependency_library.z01),上传到“/opt/omni-operator”目录下,再将适用于对应运行系统的压缩包内容解压并拷贝到“/opt/omni-operator/lib”目录下。
      1
      2
      3
      4
      5
      cd /opt/omni-operator
      rm -rf Dependency_library_*.zip
      zip -F Dependency_library.zip --out Dependency_library_complete.zip
      unzip Dependency_library_complete.zip
      cp /opt/omni-operator/Dependency_library_openeuler/* /opt/omni-operator/lib
      
    2. 将boostkit-omniop-hive-3.1.0-1.8.0-aarch64.jar拷贝到“/opt/omni-operator/lib”目录下,并修改目录下文件权限为550。
      chmod -R 550 /opt/omni-operator/lib/*
    3. 创建HiveExtension配置文件目录。
      mkdir -p /opt/omni-operator/hive/conf
    4. 在管理节点上设置如下临时环境变量。
      export OMNI_CONF=/opt/omni-operator/hive
      export HIVE_AUX_JARS_PATH=/opt/omni-operator/lib
      export LD_LIBRARY_PATH=/opt/omni-operator/lib:$LD_LIBRARY_PATH
      • OMNI_CONF临时变量的路径“/opt/omni-operator/hive”目录用户可自行定义,且如果环境同时部署了Spark Extension,则该目录应与默认的“/opt/omni-operator”不同。
      • 每启动一个新的shell session,都需要重新设置4中的环境变量。