鲲鹏社区首页
EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

环境要求

安装OmniShuffle Shuffle加速组件特性前,请参考本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。

硬件要求

集群中各节点硬件要求如表1所示。

表1 RSS硬件要求

硬件环境

管理节点

计算节点

存储节点

处理器

鲲鹏920 7260处理器

鲲鹏920 7260处理器

鲲鹏920 7260处理器

内存大小

512GB

512GB

512GB

内存频率

2666MHz

2666MHz

2666MHz

网卡

  • 业务网络10GE
  • 管理网络GE
  • 业务网络20GE
  • 管理网络GE
  • 业务网络20GE
  • 管理网络GE

硬盘

  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8T SATA HDD)
  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8T SATA HDD)
  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:2 * 4T NVMe SSD

RAID控制卡

LSI SAS3508

LSI SAS3508

LSI SAS3508

操作系统和软件要求

集群中各节点操作系统和软件要求如表2所示。

表2 操作系统和软件要求

项目

版本

说明

管理节点

计算/存储节点

操作系统

openEuler 22.03 LTS SP1

openEuler 20.03 LTS SP1

-

网卡驱动

Mellanox 5.4-3.6.8.1-LTS

-

JDK

BiSheng JDK 1.8(优选BiSheng JDK 1.8.0_342)

openEuler 22.03 LTS SP1与BiSheng JDK 1.8.0_262不兼容,需更换为BiSheng JDK 1.8.0_342。BiSheng JDK安装指南请参考:《毕昇JDK 8 安装指南

Hadoop

3.2.0

部署指南请参考:《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)

Hive

3.1.0

部署指南请参考:《Hive 部署指南(CentOS 7.6&openEuler 20.03)

-

Spark

3.1.1/3.3.1

部署指南请参考:《Spark 部署指南(CentOS 7.6&openEuler 20.03)

-

ZooKeeper

3.6.2及以上

部署指南请参考:《ZooKeeper 部署指南(CentOS 7.6&openEuler 20.03)

-

  • √:是指对应节点需要安装该项目。
  • -:是指对应节点不需要安装该项目。

软件安装包安装获取

表3 OmniShuffle Shuffle加速软件获取列表

名称

包名

发布类型

说明

获取地址

OmniRuntime压缩包

BoostKit-omniruntime_1.4.0.zip

闭源

OmniRuntime压缩包,解压可获得OmniShuffle Shuffle加速软件安装包(BoostKit-omnishuffle_1.6.0.tar.gz)。

鲲鹏社区:Link

说明:

使用软件包前请先阅读鲲鹏应用使能套件BoostKit用户许可协议 2.0,如确认继续使用,则默认同意协议的条款和条件。

软件安装包完整性校验

从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。

校验方法:

  1. 获取软件数字证书和软件安装包。
  2. 在如下链接中获取校验工具和校验方法:
  3. 参考上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。