--- title: 环境要求 description: "安装OmniData算子下推特性前，请参考本节提前准备软硬件安装环境，以确保后续安装操作顺利进行。" url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2400/bds/kunpengbds_omniruntime_20_0108.html sourcePath: /source/zh/kunpengboostkithistory/2400/bds/kunpengbds_omniruntime_20_0108.html indexId: 613380c7cf3fdf25fd7706f6fedea91d1eda29115be97f6dd0c698abaed5d10678 --- # 环境要求 安装OmniData算子下推特性前，请参考本节提前准备软硬件安装环境，以确保后续安装操作顺利进行。 #### 硬件要求 集群中各节点硬件要求如表1所示。 **表1 硬件要求** | 项目 | 说明 | | --- | --- | | 处理器 | 鲲鹏920 5250处理器/鲲鹏920新型号处理器（80核） | | 内存大小 | 384GB （12 \* 32GB） | | 内存频率 | 2666MHz | | 网卡 | Ceph环境：业务网络25GE，管理网络1GE HDFS环境：业务网络10GE，管理网络1GE | | 硬盘 | 系统盘：1 \* RAID 0（1 \* 1.2T SAS HDD） 数据盘（管理节点）：12 \* RAID 0（12 \* 4T SATA HDD） 数据盘（计算节点）： Ceph环境：1 \* 3.2T NVMe HDFS环境：12 \* RAID 0（12 \* 4T SATA HDD） 数据盘（存储节点）： Ceph环境：12 \* RAID 0（12 \* 4T SATA HDD） 1 \* 3.2T NVMe HDFS环境：12 \* RAID 0（12 \* 4T SATA HDD） | | RAID卡 | LSI SAS3508 | #### 操作系统和软件要求 集群中各节点操作系统和软件要求如表2所示。 **表2 操作系统和软件要求** | 项目 | 版本 | 说明 | 管理节点 （Server） | 计算节点 （Agent） | 存储节点 （HDFS/Ceph二选一） | | --- | --- | --- | --- | --- | --- | | 操作系统 | CentOS 7.6 openEuler 20.03 LTS SP1 openEuler 22.03 LTS SP1 | \- | √ | √ | √ | | JDK | 毕昇JDK 1.8（建议使用毕昇JDK 1.8.0\_342） | openEuler 22.03 LTS SP1与毕昇JDK 1.8.0\_262不兼容，需更换为毕昇JDK 1.8.0\_342(https://mirror.iscas.ac.cn/kunpeng/archive/compiler/bisheng\_jdk/bisheng\-jdk\-8u342\-linux\-aarch64.tar.gz)。 | √ | √ | √ | | Hadoop | 3.2.0 | 部署指南请参见《Hadoop 集群部署（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Hadoop/kunpenghadoop\_04\_0001.html)》。 | √ | √ | √ | | ZooKeeper | 3.6.2 | 部署指南请参见《ZooKeeper 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/ZooKeeper/kunpengzookeeper\_04\_0001.html)》。 | \- | √ | \- | | Hive | 3.1.0 | 部署指南请参见《Hive 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Hive/kunpenghive\_04\_0001.html)》。 | √ | \- | \- | | Spark | 3.1.1 | 部署指南请参见《Spark 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark\_04\_0001.html)》。 | √ | \- | \- | | Ceph | 14.2.8 | \- | \- | \- | √ | | OpenSSL工具 | 1.1.1及以上 | Link(https://gitee.com/kunpengcompute/boostkit\-bigdata/releases/download/v1.4.0/OpenSSL.zip) | \- | √ | √ | | Python | 3.10.2及以上 | \- | \- | √ | √ | | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | - 以上第三方依赖版本如有漏洞请根据官方说明进行漏洞修复。 - 以上组件版本，可能和部署指南中的组件版本不一致，部署指南仅供部署参考。 #### 软件获取 安装OmniData算子下推特性所需软件包及其获取方式如表3所示。 **表3 OmniData算子下推软件获取列表** | 名称 | 包名 | 发布类型 | 说明 | 获取地址 | | --- | --- | --- | --- | --- | | OmniRuntime压缩包 | BoostKit\-omniruntime\_1.5.0.zip | 闭源 | 解压OmniRuntime压缩包可获得OmniData算子下推软件安装包（BoostKit\-omnidata\_1.5.0.zip）。 | 鲲鹏社区：Link(https://www.hikunpeng.com/zh/developer/download?title=大数据&subTitle=OmniRuntime&zhTitle=大数据&zhSubTitle=OmniRuntime&enTitle=Big%2BData&enSubTitle=OmniRuntime) 说明： 使用软件包前请先阅读《鲲鹏应用使能套件BoostKit用户许可协议 2.0(https://www.hikunpeng.com/zh/legal/developer/boostkit/software/protocol)》，如确认继续使用，则默认同意协议的条款和条件。 | | Spark引擎OmniData插件 | boostkit\-omnidata\-spark\-sql\_2.12\-3.1.1\-1.5.0\-aarch64.zip | 开源 | 使用OmniData算子下推功能时，Spark引擎扩展包。 | Link(https://gitee.com/kunpengcompute/boostkit\-bigdata/releases/download/v1.5.0\-OmniData/boostkit\-omnidata\-spark\-sql\_2.12\-3.1.1\-1.5.0\-aarch64.zip) | | OmniData Server的第三方依赖包 | boostkit\-omnidata\-server\-1.5.0\-aarch64\-lib.zip | 开源 | OmniData算子下推的第三方依赖包。 | 参考源码链接中README.md(https://gitee.com/kunpengcompute/boostkit\-bigdata/blob/main/omnidata/omnidata\-server\-lib/README.md)，编译获取此包。 | | Hive UDF插件 | boostkit\-omnidata\-hive\-udf\-loader\-1.6.1\-1.4.0\-aarch64.zip | 开源 | Hive UDF插件包。Hive UDF插件用于执行基于Hive UDF框架编写的UDF函数。 | 参考源码链接中README.md(https://gitee.com/kunpengcompute/boostkit\-bigdata/blob/main/omnidata/omnidata\-hiveudf\-loader/README.md)，编译获取boostkit\-omnidata\-hive\-udf\-loader\-1.6.1.zip，并重命名为boostkit\-omnidata\-hive\-udf\-loader\-1.6.1\-1.4.0\-aarch64.zip。 | | HAF软件安装包 | BoostKit\-haf\_1.4.0.zip | 闭源 | HAF软件安装包。 | 鲲鹏社区：Link(https://www.hikunpeng.com/developer/boostkit/library/detail?subtab=HAF) 说明： 使用软件包前请先阅读《鲲鹏应用使能套件BoostKit用户许可协议 2.0(https://www.hikunpeng.com/zh/legal/developer/boostkit/software/protocol)》，如确认继续使用，则默认同意协议的条款和条件。 | | 访问Ceph所需的依赖包 | hdfs\-ceph\-3.2.0.jar | 开源 | Hadoop和OmniData算子下推访问Ceph所需的依赖包。 | Link(https://gitee.com/kunpengcompute/hadoop\-fs\-ceph/raw/v3.2.0/release/hdfs\-ceph\-3.2.0.jar) | | 访问Ceph所需的依赖包 | librgw\_jni.so | 开源 | Hadoop和OmniData算子下推访问Ceph所需的二进制文件。 | Link(https://gitee.com/kunpengcompute/hadoop\-fs\-ceph/raw/v3.2.0/release/librgw\_jni.so) | #### 软件安装包完整性校验 从鲲鹏社区获取的软件安装包，下载软件安装包后需要校验软件安装包，确保与网站上的原始软件安装包一致。 校验方法： 1. 获取软件数字证书和软件安装包。 2. 在如下链接中获取校验工具和校验方法(https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054)。 3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。