类别 |
支持版本 |
说明 |
管理节点 Server |
计算节点 Agent |
存储节点 HDFS/Ceph二选一 |
---|---|---|---|---|---|
操作系统 |
OmniData Server兼容主流OS:CentOS 7.6、openEuler 20.03 LTS SP1、openEuler 22.03 LTS |
- |
√ |
√ |
√ |
JDK |
openEuler 22.03 LTS与BiSheng JDK 1.8.0_262不兼容,需更换为BiSheng JDK 1.8.0_342。 |
√ |
√ |
√ |
|
Hadoop |
部署指南请参考:《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)》 |
√ |
√ |
√ |
|
ZooKeeper |
- |
√ |
- |
||
Hive |
部署指南请参考:《Hive 部署指南(CentOS 7.6&openEuler 20.03)》 |
√ |
- |
- |
|
Ceph |
- |
- |
- |
√ |
|
Spark |
部署指南请参考:《Spark 部署指南(CentOS 7.6&openEuler 20.03)》 |
√ |
- |
- |
|
OpenSSL工具 |
OpenSSL 1.1.1及以上 |
- |
- |
√ |
√ |
Python |
Python 3.9.2及以上 |
- |
- |
√ |
√ |
yum install -y haveged
systemctl start haveged systemctl enable haveged.service
service haveged status
openssl version
wget https://www.openssl.org/source/openssl-1.1.1n.tar.gz
tar -zxvf openssl-1.1.1n.tar.gz cd openssl-1.1.1n sudo ./config --prefix=/usr/local/openssl sudo make -j 16 sudo make install sudo mv /usr/bin/openssl /usr/bin/openssl.bak sudo ln -sf /usr/local/openssl/bin/openssl /usr/bin/openssl
sudo vim /etc/ld.so.conf
sudo ldconfig -v
安装OmniData算子下推特性所需软件包及其获取方式如表1所示。
名称 |
包名 |
发布类型 |
获取地址 |
说明 |
---|---|---|---|---|
OmniData算子下推二进制包 |
BoostKit-omnidata_1.4.0.zip |
闭源 |
鲲鹏社区:Link |
OmniData算子下推安装包。 |
Spark引擎OmniData算子下推插件 |
boostkit-omnidata-spark-sql_2.12-3.0.0-1.4.0-aarch64.zip |
开源 |
使用OmniData算子下推功能时,Spark引擎扩展包。 |
|
boostkit-omnidata-spark-sql_2.12-3.1.1-1.4.0-aarch64.zip |
开源 |
|||
Hive引擎OmniData算子下推插件 |
boostkit-omnidata-hive-exec-3.1.0-1.4.0.zip |
开源 |
使用OmniData算子下推功能时,Hive引擎扩展包。 |
|
OmniData算子下推 Server的第三方依赖包 |
boostkit-omnidata-server-1.4.0-aarch64-lib.zip |
开源 |
参考源码链接中README.md,编译获取此包。 |
OmniData算子下推第三方依赖包。 |
Hive UDF插件 |
boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip |
开源 |
参考源码链接中README.md,编译获取boostkit-omnidata-hive-udf-loader-1.6.1.zip,并重命名为boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip。 |
Hive UDF插件包。 Hive UDF插件用于执行基于Hive UDF框架编写的UDF函数。 |
HAF二进制包 |
BoostKit-haf_1.3.0.zip |
闭源 |
鲲鹏社区:Link |
HAF的安装包。 |
访问Ceph所需的依赖包 |
hdfs-ceph-3.2.0.jar |
开源 |
Hadoop和OmniData算子下推访问Ceph所需的依赖包。 |
|
librgw_jni.so |
开源 |
Hadoop和OmniData算子下推访问Ceph所需的二进制文件。 |
对于闭源二进制包,下载软件包后需要校验软件包,确保与网站上的原始软件包一致。
校验方法:
https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054