安装OmniData算子下推
给所有节点分发OmniData算子下推程序包,解压,安装并初始化配置。
- 将软件获取中准备好的OmniData算子下推二进制包,使用文件传输功能拷贝OmniData算子下推压缩包到所有节点。
- 选中卸载节点(ceph1、ceph2、ceph3)节点,单击“配置业务流”。
- 选择“自定义”,单击“下一步”。
- 选择“文件传输”,单击“添加”。
- 编辑任务1的内容,单击“保存”。
表1 任务1编辑参数内容 参数
内容
任务名称
传输OmniData算子下推安装程序包
任务描述
拷贝OmniData算子下推安装包到卸载节点
传输方向
从本地传至远端主机
本地路径
本地安装包所在的目录
远端路径
/home/omm/omnidata-software
- 选中卸载节点(ceph1、ceph2、ceph3)节点,单击“配置业务流”。
- 将软件获取中准备好的OmniData算子下推第三方依赖包,使用文件传输功能拷贝OmniData算子下推第三方依赖压缩包到卸载节点。
- 选择“文件传输”,单击“添加”。
- 编辑任务2~任务5的内容,单击“保存”。
表2 任务2编辑参数内容 参数
内容
任务名称
拷贝OmniData算子下推 lib
任务描述
拷贝OmniData算子下推 lib压缩包到卸载节点
传输方向
从本地传至远端主机
本地路径
本地安装包所在的目录
远端路径
/home/omm/omnidata-software
表3 任务3编辑参数内容 参数
内容
任务名称
拷贝Ceph依赖
任务描述
拷贝Ceph依赖到所有卸载节点(如果是HDFS集群,则跳过该步骤)
传输方向
从本地传至远端主机
本地路径
本地安装包所在的目录
远端路径
/home/omm/omnidata-software
表4 任务4编辑参数内容 参数
内容
任务名称
拷贝librgw文件
任务描述
拷贝librgw依赖到所有卸载节点(如果是HDFS集群,则跳过该步骤)
传输方向
从本地传至远端主机
本地路径
本地安装包所在的目录
远端路径
/home/omm/omnidata-software
- 选择“文件传输”,单击“添加”。
- 解压OmniData算子下推压缩包boostkit-omnidata-server-1.4.0-aarch64.tar.gz,并拷贝第三方依赖包至对应目录中。
- 选择“命令执行”,单击“添加”。
- 编辑任务6~任务8的内容,单击“保存”。
表5 任务5编辑参数内容 参数
内容
任务名称
解压OmniData算子下推
任务描述
解压OmniData算子下推安装包及第三方依赖包
运行目录
/home/omm/omnidata-software
执行命令
unzip BoostKit-omnidata_1.4.0.zip; tar -zxvf BoostKit-omnidata_1.4.0.tar.gz;tar -zxvf boostkit-omnidata-server-1.4.0-aarch64.tar.gz -C /home/omm/omnidata-install; unzip boostkit-omnidata-server-1.4.0-aarch64-lib.zip;
是否判断返回码
是
期望返回码
0
表6 任务6编辑参数内容 参数
内容
任务名称
拷贝OmniData算子下推依赖
任务描述
拷贝第三方依赖到OmniData算子下推相应目录
运行目录
/home/omm/omnidata-software
执行命令
mv /home/omm/omnidata-software/boostkit-omnidata-server-1.4.0-aarch64-lib/* /home/omm/omnidata-install/omnidata/lib;rmdir /home/omm/omnidata-software/boostkit-omnidata-server-1.4.0-aarch64-lib;cd /home/omm/omnidata-install;cp -f ./haf-offload/lib/jar/haf-1.3.0.jar ./omnidata/lib/;
是否判断返回码
是
期望返回码
0
表7 任务7编辑参数内容 参数
内容
任务名称
拷贝Ceph依赖
任务描述
拷贝Ceph依赖到OmniData算子下推相应目录(如果是HDFS集群,则跳过该步骤)
运行目录
/home/omm/omnidata-software
执行命令
cd /home/omm/omnidata-install;chmod 700 ./haf-offload/lib/; cp /home/omm/omnidata-software/librgw_jni.so ./haf-offload/lib/;cp /usr/lib64/ceph/libceph-common.so.0 ./haf-offload/lib/;chmod -R 500 ./haf-offload/lib/;cp /home/omm/omnidata-software/hdfs-ceph-3.2.0.jar ./omnidata/lib/;
是否判断返回码
是
期望返回码
0
- 选择“命令执行”,单击“添加”。
- 卸载节点(ceph1、ceph2、ceph3)安装OmniData算子下推服务。
- 选择“命令执行”,单击“添加”。
- 编辑任务8的内容,单击“保存”。
表8 任务8编辑参数内容 参数
内容
任务名称
安装OmniData算子下推服务
任务描述
安装OmniData算子下推服务
运行目录
/home/omm/omnidata-install/omnidata-setup
执行命令
sh omnidata_install.sh
是否判断返回码
是
期望返回码
0
- 选择“命令执行”,单击“添加”。
- 卸载节点(ceph1、ceph2、ceph3)OmniData算子下推服务生成配置文件。
- 选择“命令执行”,单击“添加”。
- 编辑任务8的内容,单击“保存”。
表9 任务9编辑参数内容 参数
内容
任务名称
生成配置文件
任务描述
OmniData算子下推服务生成配置文件
运行目录
/home/omm/omnidata-install/omnidata/deploy
执行命令
sh generate_config.sh -o Register_HOSTNAME:Register_Port -s Register_HOSTNAME:Register_Port
是否判断返回码
是
期望返回码
0
- 如果大数据引擎是Spark,执行命令为sh generate_config.sh -s Register_IP:Register_Port。
- 脚本参数-s用于指定OmniData算子下推使用的第三方注册服务的IP地址/域名和端口。
- -s表示Spark,用于指定Spark引擎对应的注册地址(ZooKeeper节点的IP和端口默认为2181)。
- 选择“命令执行”,单击“添加”。
- 导出业务流,保存至本地。后续其他安装,即可通过导入业务流,快速安装。
- 单击右上角的“导出”。
弹出“选择模板保存路径”窗口。
- 将模板命名为“OmniData安装及配置WorkFlow”,单击“保存”。
- 单击右上角的“导出”。
- 执行业务流。
单击右下角的“完成”,选择“执行业务流”。执行状态成功即可。
- 用户可以开发自己的OmniData算子下推插件,插件的安全由用户自身保障。
- OmniData算子下推可以增加Hive UDF插件,用户可以添加自己的UDF插件,增加新插件的方法如下所述。
- 在安装OmniData算子下推的步骤二中增加类似任务2的任务,例如拷贝Hive UDF插件。
- 在安装OmniData算子下推的步骤三中的任务5中的执行命令一开始增加命令unzip boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip。
- 在安装OmniData算子下推的步骤三中的任务6中的执行命令一开始增加命令mv boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64 omnidata/plugin。