鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

安装HiveExtension

OmniOperator算子加速特性支持Hive引擎, 需在管理节点安装Hive引擎,并在管理节点和所有计算节点配置openEuler操作系统的HiveExtension依赖。

  1. 安装Hive引擎, 具体请参考环境要求
  2. 下载HiveExtension插件包并解压。

    环境要求下载得到boostkit-omniop-hive-3.1.0-1.5.0-aarch64.zip,将boostkit-omniop-hive-3.1.0-1.5.0-aarch64.zip解压出boostkit-omniop-hive-3.1.0-1.5.0-aarch64.jar,并上传至集群管理节点。

  3. 安装openEuler操作系统的HiveExtension依赖。

    各系统镜像配置本地yum源,执行以下命令安装依赖。

    yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
  4. 配置Hive Extension。
    1. 环境要求获取到ORC、Protobuf、Arrow、HDFS和Parquet软件安装包,解压后得到liborc.so、libprotobuf.so.24、libarrow.so.1100、libarrow_dataset.so.1100、libarrow_substrait.so.1100、libhdfs.so.0.0.0和libparquet.so.1100;从安装依赖中获取到libLLVM-15.so和libjemalloc.so.2。将上述文件上传到集群管理节点和所有计算节点的“/opt/omni-operator/lib”目录下。
    2. 拷贝libboostkit-omniop-codegen-1.5.0-aarch64.so、libboostkit-omniop-vector-1.5.0-aarch64.so、libboostkit-omniop-operator-1.5.0-aarch64.so、libsecurec.so到管理节点和所有计算节点的“/opt/omni-operator/lib”目录下。
    3. 将boostkit-omniop-hive-3.1.0-1.5.0-aarch64.jar拷贝到“/opt/omni-operator/lib”目录下,并修改目录下文件权限为550。
      chmod -R 550 /opt/omni-operator/lib/*
    4. 在管理节点上设置如下临时环境变量。
      export OMNI_CONF=/opt/omni-operator/hive
      export HIVE_AUX_JARS_PATH=/opt/omni-operator/lib
      export LD_LIBRARY_PATH=/opt/omni-operator/lib:$LD_LIBRARY_PATH
  • OMNI_CONF临时变量的路径“/opt/omni-operator/hive”目录用户可自行定义,且如果环境同时部署了Spark Extension,则该目录应与默认的“/opt/omni-operator”不同。
  • 每启动一个新的shell session,都需要重新设置4中的环境变量。