鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

部署openLooKeng引擎

  1. 部署openLooKeng引擎。

    具体请参考《openLooKeng部署指南》。

  2. openLooKeng部署完成后,找到openLooKeng引擎的部署目录(以/opt/hetu-server为例),将boostkit-omnidata-openlookeng-1.6.1-1.3.0-aarch64文件夹放入到openLooKeng的部署目录下的“plugin”目录。
  3. 配置OmniData算子下推 openLooKeng连接器。

    omnidata-openlookeng-connector是一个连接hive数据仓库的连接器,同时具备算子卸载能力。

    在openLooKeng的“/opt/hetu-server/etc/catalog/”目录下配置omnidata connector。

    omnidata.properties的配置可完全参考Hive Connector的配置

    相比hive connector,omnidata.properties可增加如下内容:

    connector.name=omnidata-openlookeng
    hive.omnidata-enabled=true
    hive.aggregator-offload-factor=1
    hive.filter-offload-factor=1
    hive.min-offload-row-number=1

    算子下推的参数解释如表1所示。

    表1 算子下推的参数含义

    参数

    推荐值

    含义

    hive.omnidata-enabled

    true

    打开算子下推功能,总开关。

    hive.filter-offload-enabled

    true

    开启filter算子下推。

    hive.aggregator-offload-enabled

    true

    开启aggregation算子下推。

    hive.filter-offload-factor

    0.25

    filter选择率小于该值才会下推(factor越小,表示需要过滤的数据量越少),默认值为0.25,类型为double。如果需要强制下推,可以将参数设置为1.0。

    hive.aggregator-offload-factor

    0.25

    aggregation选择率小于该值才会下推(factor越小,表示需要过滤的数据量越少),默认值为0.25,类型为double。如果需要强制下推,可以将参数设置为1.0。

    hive.min-offload-row-number

    500

    可算子下推的表的最小行数。

    如果表比较小,下推效果不佳。

  4. source环境变量。
    source /home/omm/haf-install/haf-host/env.sh
    • 执行上述命令之后会对当前session环境变量产生影响,若仍需运行其他业务,建议新建session后运行。
    • 若主机节点也部署了haf-target,请不要在同一个session使用haf-host和haf-target。
  5. 重启openLooKeng服务。
    sh /opt/hetu-server/bin/launcher restart

HAF在主机节点的日志目录:“/home/omm/haf-install/haf-host/logs”