安装HiveExtension
OmniOperator算子加速特性支持Hive引擎, 需在管理节点安装Hive引擎,并在管理节点和所有计算节点配置openEuler操作系统的HiveExtension依赖。
- 安装Hive引擎, 具体请参考环境要求。
- 下载HiveExtension插件包并解压。
从环境要求下载得到boostkit-omniop-hive-3.1.0-1.5.0-aarch64.zip,将boostkit-omniop-hive-3.1.0-1.5.0-aarch64.zip解压出boostkit-omniop-hive-3.1.0-1.5.0-aarch64.jar,并上传至集群管理节点。
- 安装openEuler操作系统的HiveExtension依赖。
各系统镜像配置本地yum源,执行以下命令安装依赖。
yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
- 配置Hive Extension。
- 从环境要求获取到ORC、Protobuf、Arrow、HDFS和Parquet软件安装包,解压后得到liborc.so、libprotobuf.so.24、libarrow.so.1100、libarrow_dataset.so.1100、libarrow_substrait.so.1100、libhdfs.so.0.0.0和libparquet.so.1100;从安装依赖中获取到libLLVM-15.so和libjemalloc.so.2。将上述文件上传到集群管理节点和所有计算节点的“/opt/omni-operator/lib”目录下。
- 拷贝libboostkit-omniop-codegen-1.5.0-aarch64.so、libboostkit-omniop-vector-1.5.0-aarch64.so、libboostkit-omniop-operator-1.5.0-aarch64.so、libsecurec.so到管理节点和所有计算节点的“/opt/omni-operator/lib”目录下。
- 将boostkit-omniop-hive-3.1.0-1.5.0-aarch64.jar拷贝到“/opt/omni-operator/lib”目录下,并修改目录下文件权限为550。
chmod -R 550 /opt/omni-operator/lib/*
- 在管理节点上设置如下临时环境变量。
export OMNI_CONF=/opt/omni-operator/hive export HIVE_AUX_JARS_PATH=/opt/omni-operator/lib export LD_LIBRARY_PATH=/opt/omni-operator/lib:$LD_LIBRARY_PATH

- OMNI_CONF临时变量的路径“/opt/omni-operator/hive”目录用户可自行定义,且如果环境同时部署了Spark Extension,则该目录应与默认的“/opt/omni-operator”不同。
- 每启动一个新的shell session,都需要重新设置4中的环境变量。
父主题: 在Hive引擎上的应用