安装HiveExtension
OmniOperator算子加速特性支持Hive引擎,需在管理节点安装Hive引擎,并在管理节点和所有计算节点配置openEuler操作系统的HiveExtension依赖。
- 安装Hive引擎,具体请参考表2。
- 下载HiveExtension插件包并解压。
从表3下载得到boostkit-omniop-hive-3.1.0-1.8.0-aarch64.zip,将boostkit-omniop-hive-3.1.0-1.8.0-aarch64.zip解压出boostkit-omniop-hive-3.1.0-1.8.0-aarch64.jar,并上传至集群管理节点。
- 安装openEuler操作系统的HiveExtension依赖。
各系统镜像配置本地Yum源,执行以下命令安装依赖。
yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
- 配置HiveExtension。
- 从软件安装包获取中获取到Dependency_library软件安装包(Dependency_library.zip和Dependency_library.z01),上传到“/opt/omni-operator”目录下,再将适用于对应运行系统的压缩包内容解压并拷贝到“/opt/omni-operator/lib”目录下。
1 2 3 4 5
cd /opt/omni-operator rm -rf Dependency_library_*.zip zip -F Dependency_library.zip --out Dependency_library_complete.zip unzip Dependency_library_complete.zip cp /opt/omni-operator/Dependency_library_openeuler/* /opt/omni-operator/lib
- 将boostkit-omniop-hive-3.1.0-1.8.0-aarch64.jar拷贝到“/opt/omni-operator/lib”目录下,并修改目录下文件权限为550。
chmod -R 550 /opt/omni-operator/lib/*
- 创建HiveExtension配置文件目录。
mkdir -p /opt/omni-operator/hive/conf
- 在管理节点上设置如下临时环境变量。
export OMNI_CONF=/opt/omni-operator/hive export HIVE_AUX_JARS_PATH=/opt/omni-operator/lib export LD_LIBRARY_PATH=/opt/omni-operator/lib:$LD_LIBRARY_PATH
- OMNI_CONF临时变量的路径“/opt/omni-operator/hive”目录用户可自行定义,且如果环境同时部署了Spark Extension,则该目录应与默认的“/opt/omni-operator”不同。
- 每启动一个新的shell session,都需要重新设置4中的环境变量。
- 从软件安装包获取中获取到Dependency_library软件安装包(Dependency_library.zip和Dependency_library.z01),上传到“/opt/omni-operator”目录下,再将适用于对应运行系统的压缩包内容解压并拷贝到“/opt/omni-operator/lib”目录下。
父主题: 在Hive引擎上的应用