鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

安装软件

使用SmartKit批量分发功能给所有存储(卸载)节点分发OmniData算子下推程序包和第三方依赖包,解压、安装并进行OmniData算子下推初始化配置。

  1. 软件获取中准备好的OmniData算子下推软件安装包,使用文件传输功能拷贝OmniData算子下推压缩包到所有节点。
    1. 使用批量分发功能,选中卸载节点(ceph1、ceph2、ceph3)节点,“配置业务流”
    2. 使用“文件传输”“添加”表1的内容,单击“保存”
      表1 任务1编辑参数内容

      参数

      内容

      任务名称

      传输OmniData算子下推安装程序包

      任务描述

      拷贝OmniData算子下推软件安装包到卸载节点

      传输方向

      从本地传至远端主机

      本地路径

      本地软件安装包所在的目录

      远端路径

      /home/omm/omnidata-software

  2. 软件获取中准备好的OmniData算子下推第三方依赖包,使用文件传输功能拷贝OmniData算子下推第三方依赖压缩包到卸载节点。
    选择“文件传输”“添加”表2~表4的内容,单击“保存”
    表2 任务2编辑参数内容

    参数

    内容

    任务名称

    拷贝OmniData算子下推lib

    任务描述

    拷贝OmniData算子下推lib压缩包到卸载节点

    传输方向

    从本地传至远端主机

    本地路径

    本地软件安装包所在的目录

    远端路径

    /home/omm/omnidata-software

    表3 任务3编辑参数内容

    参数

    内容

    任务名称

    拷贝Ceph依赖

    任务描述

    拷贝Ceph依赖到所有卸载节点(如果是HDFS集群,则跳过该步骤)

    传输方向

    从本地传至远端主机

    本地路径

    本地软件安装包所在的目录

    远端路径

    /home/omm/omnidata-software

    表4 任务4编辑参数内容

    参数

    内容

    任务名称

    拷贝librgw文件

    任务描述

    拷贝librgw依赖到所有卸载节点(如果是HDFS集群,则跳过该步骤)

    传输方向

    从本地传至远端主机

    本地路径

    本地软件安装包所在的目录

    远端路径

    /home/omm/omnidata-software

  3. 解压OmniData算子下推压缩包boostkit-omnidata-server-1.5.0-aarch64.tar.gz,并拷贝第三方依赖包至对应目录中。
    选择“命令执行”“添加”表5~表8的内容,单击“保存”
    表5 任务5编辑参数内容

    参数

    内容

    任务名称

    解压OmniData算子下推

    任务描述

    解压OmniData算子下推软件安装包及第三方依赖包

    运行目录

    /home/omm/omnidata-software

    执行命令

    unzip BoostKit-omnidata_1.5.0.zip; tar -zxvf BoostKit-omnidata_1.5.0.tar.gz;tar -zxvf boostkit-omnidata-server-1.5.0-aarch64.tar.gz -C /home/omm/omnidata-install; unzip boostkit-omnidata-server-1.5.0-aarch64-lib.zip;

    是否判断返回码

    期望返回码

    0

    表6 任务6编辑参数内容

    参数

    内容

    任务名称

    拷贝OmniData算子下推依赖

    任务描述

    拷贝第三方依赖到OmniData算子下推相应目录

    运行目录

    /home/omm/omnidata-software

    执行命令

    mv /home/omm/omnidata-software/boostkit-omnidata-server-1.5.0-aarch64-lib/* /home/omm/omnidata-install/omnidata/lib;rmdir /home/omm/omnidata-software/boostkit-omnidata-server-1.5.0-aarch64-lib;cd /home/omm/omnidata-install;cp -f ./haf-offload/lib/jar/haf-1.3.0.jar ./omnidata/lib/;

    是否判断返回码

    期望返回码

    0

    表7 任务7编辑参数内容

    参数

    内容

    任务名称

    拷贝特性叠加依赖到OmniData算子下推相应目录

    任务描述

    拷贝特性叠加依赖到OmniData算子下推相应目录(boostkit-omniop-bindings-1.3.0-aarch64.jar。如不是基于特性叠加,则跳过该步骤)

    传输方向

    从本地传至远端主机

    本地路径

    本地软件安装包所在的目录

    远端路径

    /home/omm/omnidata-install/omnidata/lib

    表8 任务8编辑参数内容

    参数

    内容

    任务名称

    拷贝Ceph依赖

    任务描述

    拷贝Ceph依赖到OmniData算子下推相应目录(如果是HDFS集群,则跳过该步骤)

    运行目录

    /home/omm/omnidata-software

    执行命令

    cd /home/omm/omnidata-install;chmod 700 ./haf-offload/lib/; cp /home/omm/omnidata-software/librgw_jni.so ./haf-offload/lib/;cp /usr/lib64/ceph/libceph-common.so.0 ./haf-offload/lib/;chmod -R 500 ./haf-offload/lib/;cp /home/omm/omnidata-software/hdfs-ceph-3.2.0.jar ./omnidata/lib/;

    是否判断返回码

    期望返回码

    0

  4. 卸载节点(ceph1、ceph2、ceph3)安装OmniData算子下推服务。
    选择“命令执行”“添加”表9的内容,单击“保存”
    表9 任务9编辑参数内容

    参数

    内容

    任务名称

    安装OmniData算子下推服务

    任务描述

    安装OmniData算子下推服务

    运行目录

    /home/omm/omnidata-install/omnidata-setup

    执行命令

    sh omnidata_install.sh

    是否判断返回码

    期望返回码

    0

  5. 卸载节点(ceph1、ceph2、ceph3)OmniData算子下推服务生成配置文件。
    选择“命令执行”“添加”表10的内容,单击“保存”
    表10 任务10编辑参数内容

    参数

    内容

    任务名称

    生成配置文件

    任务描述

    OmniData算子下推服务生成配置文件

    运行目录

    /home/omm/omnidata-install/omnidata/deploy

    执行命令

    sh generate_config.sh -s Register_HOSTNAME:Register_Port

    是否判断返回码

    期望返回码

    0

    • 如果大数据引擎是Spark,执行命令为sh generate_config.sh -s Register_IP:Register_Port
    • 脚本参数-s用于指定OmniData算子下推使用的第三方注册服务的IP地址/域名和端口(ZooKeeper节点的IP地址和端口默认为2181)。
  6. 导出业务流,保存至本地。后续其他安装,即可通过导入业务流,快速安装。

    单击右上角的“导出”,将模板命名为“OmniData安装及配置WorkFlow”,单击“保存”

  7. 执行业务流,执行成功即可。
    • 用户可以开发自己的OmniData算子下推插件,插件的安全由用户自身保障。
    • OmniData算子下推可以增加Hive UDF插件,用户可以添加自己的UDF插件,增加新插件的方法如下所述。
      1. 安装软件的步骤二中增加类似任务2的任务,例如拷贝Hive UDF插件。
      2. 安装软件的步骤三中的任务5中的执行命令一开始增加命令unzip boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip
      3. 安装软件的步骤三中的任务6中的执行命令一开始增加命令mv /home/omm/omnidata-software/boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64 /home/omm/omnidata-install/omnidata/plugin