部署openLooKeng引擎
- 部署openLooKeng引擎。
- openLooKeng部署完成后,找到openLooKeng引擎的部署目录(以/opt/hetu-server为例),将boostkit-omnidata-openlookeng-1.6.1-1.3.0-aarch64文件夹放入到openLooKeng的部署目录下的“plugin”目录。
- 配置OmniData算子下推 openLooKeng连接器。
omnidata-openlookeng-connector是一个连接hive数据仓库的连接器,同时具备算子卸载能力。
在openLooKeng的“/opt/hetu-server/etc/catalog/”目录下配置omnidata connector。
omnidata.properties的配置可完全参考Hive Connector的配置。
相比hive connector,omnidata.properties可增加如下内容:
connector.name=omnidata-openlookeng hive.omnidata-enabled=true hive.aggregator-offload-factor=1 hive.filter-offload-factor=1 hive.min-offload-row-number=1
算子下推的参数解释如表1所示。
表1 算子下推的参数含义 参数
推荐值
含义
hive.omnidata-enabled
true
打开算子下推功能,总开关。
hive.filter-offload-enabled
true
开启filter算子下推。
hive.aggregator-offload-enabled
true
开启aggregation算子下推。
hive.filter-offload-factor
0.25
filter选择率小于该值才会下推(factor越小,表示需要过滤的数据量越少),默认值为0.25,类型为double。如果需要强制下推,可以将参数设置为1.0。
hive.aggregator-offload-factor
0.25
aggregation选择率小于该值才会下推(factor越小,表示需要过滤的数据量越少),默认值为0.25,类型为double。如果需要强制下推,可以将参数设置为1.0。
hive.min-offload-row-number
500
可算子下推的表的最小行数。
如果表比较小,下推效果不佳。
- source环境变量。
source /home/omm/haf-install/haf-host/env.sh
- 执行上述命令之后会对当前session环境变量产生影响,若仍需运行其他业务,建议新建session后运行。
- 若主机节点也部署了haf-target,请不要在同一个session使用haf-host和haf-target。
- 重启openLooKeng服务。
sh /opt/hetu-server/bin/launcher restart

HAF在主机节点的日志目录:“/home/omm/haf-install/haf-host/logs”。