我要评分

获取效率

正确性

完整性

易理解

在线提单

论坛求助

OmniShuffle Shuffle加速环境要求

硬件要求

集群中各节点硬件要求如表1所示。

表1 硬件要求
硬件环境	管理节点	计算/存储节点
处理器	鲲鹏920 5250处理器	鲲鹏920 5250处理器
内存大小	384GB（12 * 32GB）	384GB（12 * 32GB）
内存频率	2666MHz	2666MHz
网卡	业务网络10GE 管理网络1GE	业务网络10GE 管理网络1GE
硬盘	系统盘：1 * RAID 0（1 * 1.2T SAS HDD）数据盘：12 * RAID 0（12 * 8T SATA HDD）	系统盘：1 * RAID 0（1 * 1.2T SAS HDD）数据盘：12 * RAID 0（12 * 8T SATA HDD）
RAID卡	LSI SAS3508	LSI SAS3508

操作系统和软件要求

集群中各节点操作系统和软件要求如表2所示。

表2 操作系统和软件要求
项目	版本	说明	管理节点 Server	计算/存储节点
操作系统	openEuler 20.03 LTS SP1 openEuler 22.03 LTS SP1	推荐使用openEuler 22.03 LTS SP1；基于openEuler 20.03 LTS SP1使用时，应将组件glibc升级到2.32及以上。	√	√
网卡驱动	Mellanox 5.4-3.6.8.1-LTS	-	√	√
JDK	毕昇JDK 1.8（建议使用毕昇JDK 1.8.0_342）	-	√	√
Hadoop	3.2.0	部署指南请参《Hadoop 集群部署（CentOS 7.6&openEuler 20.03）》。	√	√
Hive	3.1.0	部署指南请参见《Hive 部署指南（CentOS 7.6&openEuler 20.03）》。	√	-
Spark	3.1.1	部署指南请参见《Spark 部署指南（CentOS 7.6&openEuler 20.03）》。	√	-
ZooKeeper	3.6.2及以上	部署指南请参见《ZooKeeper 部署指南（CentOS 7.6&openEuler 20.03）》。	√	-

软件安装包获取

表3 OmniShuffle Shuffle加速软件获取列表
名称	包名	发布类型	说明	获取地址
OmniShuffle	BoostKit-omniruntime_1.0.0.zip	闭源	解压OmniRuntime压缩包可获得OmniShuffle Shuffle加速软件安装包（BoostKit-omnishuffle_1.3.0.tar.gz）	鲲鹏社区：Link
SparkExtension	BoostKit-omnishuffle-spark-3.1.1-1.3.0-aarch64.zip	开源	使用OmniShuffle Shuffle加速叠加OmniOperator算子加速时，Spark引擎扩展包。	Link

软件安装包完整性校验

从鲲鹏社区获取的软件安装包，下载软件安装包后需要校验软件安装包，确保与网站上的原始软件安装包一致。

校验方法：

获取软件数字证书和软件安装包。
在如下链接中获取校验工具和校验方法。
参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。

父主题： 环境要求