--- title: OmniShuffle Shuffle加速环境要求 description: "安装OmniShuffle Shuffle加速特性前，请参考本节提前准备软硬件安装环境，以确保后续安装操作顺利进行。" url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2300/bds/kunpengbds_omniruntime_20_0128.html sourcePath: /source/zh/kunpengboostkithistory/2300/bds/kunpengbds_omniruntime_20_0128.html indexId: 140ff62b414591d6c800841886f3792781e7507f35895b5778056a0b66346e2e78 --- # OmniShuffle Shuffle加速环境要求 安装OmniShuffle Shuffle加速特性前，请参考本节提前准备软硬件安装环境，以确保后续安装操作顺利进行。 #### 硬件要求 集群中各节点硬件要求如表1所示。 **表1 硬件要求** | 硬件环境 | 管理/计算/存储节点 | | --- | --- | | 处理器 | 鲲鹏920 5250处理器 | | 内存大小 | 384GB（12 \* 32GB） | | 内存频率 | 2666MHz | | 网卡 | 业务网络10GE 管理网络1GE | | 硬盘 | 系统盘：1 \* RAID 0（1 \* 1.2T SAS HDD） 数据盘：12 \* RAID 0（12 \* 8T SATA HDD） | | RAID卡 | LSI SAS3508 | #### 操作系统和软件要求 集群中各节点操作系统和软件要求如表2所示。 **表2 操作系统和软件要求** | 项目 | 版本 | 说明 | 管理节点（Server） | 计算/存储节点 | | --- | --- | --- | --- | --- | | 操作系统 | openEuler 20.03 LTS SP1 openEuler 22.03 LTS SP1 | 推荐使用openEuler 22.03 LTS SP1。 基于openEuler 20.03 LTS SP1使用时，应将组件glibc升级到2.32及以上。 | √ | √ | | 网卡驱动 | Mellanox 5.4\-3.6.8.1\-LTS(https://www.mellanox.com/products/infiniband\-drivers/linux/mlnx\_ofed) | \- | √ | √ | | JDK | 毕昇JDK 1.8（建议使用毕昇JDK 1.8.0\_342）(https://mirror.iscas.ac.cn/kunpeng/archive/compiler/bisheng\_jdk/bisheng\-jdk\-8u262\-linux\-aarch64.tar.gz) | \- | √ | √ | | Hadoop | 3.2.0 | 部署指南请参见《Hadoop 集群部署（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Hadoop/kunpenghadoop\_04\_0001.html)》。 | √ | √ | | Hive | 3.1.0 | 部署指南请参见《Hive 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Hive/kunpenghive\_04\_0001.html)》。 | √ | \- | | Spark | 3.1.1 | 部署指南请参见《Spark 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark\_04\_0001.html)》。 | √ | \- | | ZooKeeper | 3.6.2及以上 | 部署指南请参见《ZooKeeper 部署指南（CentOS 7.6&openEuler 20.03）(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/ZooKeeper/kunpengzookeeper\_04\_0001.html)》。 | √ | \- | | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | √：表示对应节点需要安装该项目。 \-：表示对应节点不需要安装该项目。 | #### 软件安装包获取 **表3 OmniShuffle Shuffle加速软件获取列表** | 名称 | 包名 | 发布类型 | 说明 | 获取地址 | | --- | --- | --- | --- | --- | | OmniShuffle | BoostKit\-omnishuffle\_1.3.0.tar.gz | 闭源 | OmniShuffle Shuffle加速软件安装包。 | 鲲鹏社区：Link(https://www.hikunpeng.com/zh/developer/download?title=大数据&subTitle=OmniRuntime&zhTitle=大数据&zhSubTitle=OmniRuntime&enTitle=Big%2BData&enSubTitle=OmniRuntime) 说明： 使用软件包前请先阅读《鲲鹏应用使能套件BoostKit用户许可协议 2.0(https://www.hikunpeng.com/zh/legal/developer/boostkit/software/protocol)》，如确认继续使用，则默认同意协议的条款和条件。 | | SparkExtension | BoostKit\-omnishuffle\-spark\-3.1.1\-1.3.0\-aarch64.zip | 开源 | 使用OmniShuffle Shuffle加速叠加OmniOperator算子加速时，Spark引擎扩展包。 | Link(https://gitee.com/kunpengcompute/boostkit\-bigdata/releases/download/20231230\-OmniOperator/BoostKit\-omnishuffle\-spark\-3.1.1\-1.3.0\-aarch64.zip) | #### 软件安装包完整性校验 从鲲鹏社区获取的软件安装包，下载软件安装包后需要校验软件安装包，确保与网站上的原始软件安装包一致。 校验方法： 1. 获取软件数字证书和软件安装包。 2. 在如下链接中获取校验工具和校验方法(https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054)。 3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。