--- title: 软件要求 description: "| 类别 | 支持版本 | 说明 | 管理节点 Server | 计算节点 Agent | 存储节点 HDFS/Ceph二选一 |" url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2200/bds/kunpengomnidata_20_0007.html sourcePath: /source/zh/kunpengboostkithistory/2200/bds/kunpengomnidata_20_0007.html indexId: a79efa88575a6d4a961cd767e520e530f12b477dc827666a6c99b4c3f8f0496271 --- # 软件要求 | 类别 | 支持版本 | 说明 | 管理节点 Server | 计算节点 Agent | 存储节点 HDFS/Ceph二选一 | | --- | --- | --- | --- | --- | --- | | 操作系统 | OmniData Server兼容主流OS：CentOS 7.6、openEuler 20.03 LTS SP1、openEuler 22.03 LTS | \- | √ | √ | √ | | JDK | BiSheng JDK 1.8（优选BiSheng JDK 1.8.0\_262）(https://mirror.iscas.ac.cn/kunpeng/archive/compiler/bisheng\_jdk/bisheng\-jdk\-8u262\-linux\-aarch64.tar.gz) | openEuler 22.03 LTS与BiSheng JDK 1.8.0\_262不兼容，需更换为BiSheng JDK 1.8.0\_342(https://mirror.iscas.ac.cn/kunpeng/archive/compiler/bisheng\_jdk/bisheng\-jre\-8u342\-linux\-aarch64.tar.gz)。 | √ | √ | √ | | Hadoop | Hadoop 3.2.0(https://mirrors.huaweicloud.com/kunpeng/archive/kunpeng\_solution/bigdata/Compatibility/openeuler\_lts\_sp1/hadoop\-3.2.0.tar.gz) | 部署指南请参考：《Hadoop 集群部署（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Hadoop/kunpengbds\_04\_0004.html)》 | √ | √ | √ | | ZooKeeper | ZooKeeper 3.6.2(https://mirrors.huaweicloud.com/kunpeng/archive/kunpeng\_solution/bigdata/Compatibility/openeuler\_lts\_sp1/apache\-zookeeper\-3.6.2\-bin.tar.gz) | 部署指南请参考：《ZooKeeper 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/ZooKeeper/kunpengbds\_04\_0002.html)》 | \- | √ | \- | | Hive | Hive 3.1.0(https://archive.apache.org/dist/hive/hive\-3.1.0/apache\-hive\-3.1.0\-bin.tar.gz) | 部署指南请参考：《Hive 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Hive/kunpengbds\_04\_0007.html)》 | √ | \- | \- | | Ceph | Ceph 14.2.8二进制包(https://download.ceph.com/tarballs/ceph\-14.2.8.tar.gz) Ceph 14.2.8源码(https://gitee.com/kunpengcompute/hadoop\-fs\-ceph/repository/archive/master.zip) | \- | \- | \- | √ | | Spark | Spark 3.0.0(https://mirrors.huaweicloud.com/kunpeng/archive/kunpeng\_solution/bigdata/Compatibility/openeuler\_lts\_sp1/spark\-3.0.0\-bin\-2.7.4.tgz)/Spark 3.1.1(https://github.com/apache/spark/tree/v3.1.1) | 部署指南请参考：《Spark 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengbds\_04\_0011.html)》 | √ | \- | \- | | OpenSSL工具 | OpenSSL 1.1.1及以上 | \- | \- | √ | √ | | Python | Python 3.9.2及以上 | \- | \- | √ | √ | - 用户可根据需要安装对应的大数据引擎（Spark/Hive）。 - 存储服务可选择HDFS或者Ceph。 - HAF业务会消耗系统随机值，为了避免程序阻塞，请务必开启Haveged业务。 1. 安装Haveged（如已安装，可忽略）。 ``` yum install -y haveged ``` 2. 启动Haveged服务，并设置成随系统启动。 ``` systemctl start haveged systemctl enable haveged.service ``` 3. 确认服务是否开启。 ``` service haveged status ``` - OpenSSL版本低，会导致证书签发失败，请提前升级OpenSSL版本为1.1.1及以上。 1. 查看Open SSL版本号，如果版本号低于1.1.1，请升级版本。 ``` openssl version ``` 2. 获取软件包。 ``` wget https://www.openssl.org/source/openssl-1.1.1n.tar.gz ``` 3. 解压编译并安装。 ``` tar -zxvf openssl-1.1.1n.tar.gz cd openssl-1.1.1n sudo ./config --prefix=/usr/local/openssl sudo make -j 16 sudo make install sudo mv /usr/bin/openssl /usr/bin/openssl.bak sudo ln -sf /usr/local/openssl/bin/openssl /usr/bin/openssl ``` 4. 打开文件，把“/usr/local/openssl/lib”加到文件最后。 ``` sudo vim /etc/ld.so.conf ``` 5. 使设置生效。 ``` sudo ldconfig -v ``` #### 软件获取 安装OmniData算子下推特性所需软件包及其获取方式如表1所示。 **表1 OmniData算子下推软件获取列表** | 名称 | 包名 | 发布类型 | 获取地址 | 说明 | | --- | --- | --- | --- | --- | | OmniData算子下推二进制包 | BoostKit\-omnidata\_1.4.0.zip | 闭源 | 鲲鹏社区：Link(https://www.hikunpeng.com/zh/developer/download?title=大数据&subTitle=OmniRuntime&zhTitle=大数据&zhSubTitle=OmniRuntime&enTitle=Big Data&enSubTitle=OmniRuntime) | OmniData算子下推安装包。 | | Spark引擎OmniData算子下推插件 | boostkit\-omnidata\-spark\-sql\_2.12\-3.0.0\-1.4.0\-aarch64.zip | 开源 | Link(https://gitee.com/kunpengcompute/boostkit\-bigdata/releases/download/v1.4.0/boostkit\-omnidata\-spark\-sql\_2.12\-3.0.0\-1.4.0\-aarch64.zip) | 使用OmniData算子下推功能时，Spark引擎扩展包。 | | Spark引擎OmniData算子下推插件 | boostkit\-omnidata\-spark\-sql\_2.12\-3.1.1\-1.4.0\-aarch64.zip | 开源 | Link(https://gitee.com/kunpengcompute/boostkit\-bigdata/releases/download/v1.4.0/boostkit\-omnidata\-spark\-sql\_2.12\-3.1.1\-1.4.0\-aarch64.zip) | 使用OmniData算子下推功能时，Spark引擎扩展包。 | | Hive引擎OmniData算子下推插件 | boostkit\-omnidata\-hive\-exec\-3.1.0\-1.4.0.zip | 开源 | Link(https://gitee.com/kunpengcompute/boostkit\-bigdata/releases/download/v1.4.0/boostkit\-omnidata\-hive\-exec\-3.1.0\-1.4.0.zip) | 使用OmniData算子下推功能时，Hive引擎扩展包。 | | OmniData算子下推 Server的第三方依赖包 | boostkit\-omnidata\-server\-1.4.0\-aarch64\-lib.zip | 开源 | 参考源码链接中README.md(https://gitee.com/kunpengcompute/boostkit\-bigdata/blob/main/omnidata/omnidata\-server\-lib/README.md)，编译获取此包。 | OmniData算子下推第三方依赖包。 | | Hive UDF插件 | boostkit\-omnidata\-hive\-udf\-loader\-1.6.1\-1.4.0\-aarch64.zip | 开源 | 参考源码链接中README.md(https://gitee.com/kunpengcompute/boostkit\-bigdata/blob/main/omnidata/omnidata\-hiveudf\-loader/README.md)，编译获取boostkit\-omnidata\-hive\-udf\-loader\-1.6.1.zip，并重命名为boostkit\-omnidata\-hive\-udf\-loader\-1.6.1\-1.4.0\-aarch64.zip。 | Hive UDF插件包。 Hive UDF插件用于执行基于Hive UDF框架编写的UDF函数。 | | HAF二进制包 | BoostKit\-haf\_1.3.0.zip | 闭源 | 鲲鹏社区：Link(https://www.hikunpeng.com/developer/boostkit/library/detail?subtab=HAF) | HAF的安装包。 | | 访问Ceph所需的依赖包 | hdfs\-ceph\-3.2.0.jar | 开源 | Link(https://gitee.com/kunpengcompute/hadoop\-fs\-ceph/raw/v3.2.0/release/hdfs\-ceph\-3.2.0.jar) | Hadoop和OmniData算子下推访问Ceph所需的依赖包。 | | 访问Ceph所需的依赖包 | librgw\_jni.so | 开源 | Link(https://gitee.com/kunpengcompute/hadoop\-fs\-ceph/raw/v3.2.0/release/librgw\_jni.so) | Hadoop和OmniData算子下推访问Ceph所需的二进制文件。 | #### 软件包完整性校验 对于闭源二进制包，下载软件包后需要校验软件包，确保与网站上的原始软件包一致。 校验方法： 1. 获取软件数字证书和软件。 2. 在如下链接中获取校验工具和校验方法： https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054(https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054) 3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件包完整性检查。