鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

环境要求

安装OmniShuffle Shuffle加速组件特性前,请参见本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。

硬件要求

集群中各节点硬件要求如表1表2所示。

表1 ESS硬件版本

硬件环境

管理/计算/存储节点

处理器

鲲鹏920 5250

内存大小

384GB(12 * 32GB)

内存频率

2666MHz

网卡

  • 业务网络10GE
  • 管理网络GE

硬盘

  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8T SATA HDD)

RAID控制卡

LSI SAS3508

表2 RSS硬件版本

硬件环境

管理节点

计算节点

存储节点

处理器

鲲鹏920 7260

鲲鹏920 7260

鲲鹏920 7260

内存大小

512GB

512GB

512GB

内存频率

2666MHz

2666MHz

2666MHz

网卡

  • 业务网络10GE
  • 管理网络GE
  • 业务网络20GE
  • 管理网络GE
  • 业务网络20GE
  • 管理网络GE

硬盘

  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8T SATA HDD)
  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8T SATA HDD)
  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:2 * 4T NVMe SSD

RAID控制卡

LSI SAS3508

LSI SAS3508

LSI SAS3508

软件要求

集群中各节点软件要求如表3所示。

表3 软件版本

软件名称

软件版本

说明

管理节点

计算/存储节点

OS

  • openEuler 22.03 LTS SP1
  • openEuler 20.03 LTS SP1

-

网卡驱动

Mellanox 5.4-3.6.8.1-LTS

-

JDK

BiSheng JDK 1.8(优选BiSheng JDK 1.8.0_342)

openEuler 22.03 LTS SP1与BiSheng JDK 1.8.0_262不兼容,需更换为BiSheng JDK 1.8.0_342。BiSheng JDK安装指南请参见《毕昇JDK 8 安装指南

Hadoop

3.2.0

部署指南请参见《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)

Hive

3.1.0

部署指南请参见《Hive 部署指南(CentOS 7.6&openEuler 20.03)

-

Spark

  • 3.1.1
  • 3.3.1

部署指南请参见《Spark 部署指南(CentOS 7.6&openEuler 20.03)

-

ZooKeeper

3.6.2及以上

部署指南请参见《ZooKeeper 部署指南(CentOS 7.6&openEuler 20.03)

-

  • √:是指对应节点需要安装该项目。
  • -:是指对应节点不需要安装该项目。

如果系统软件无KRB5,安全模式下需安装KRB5。

获取软件安装包

表4 OmniShuffle Shuffle加速组件软件获取列表

名称

包名

发布类型

说明

获取地址

OmniShuffle Shuffle加速组件软件包

BoostKit-omnishuffle_1.9.0.tar.gz

闭源

OmniShuffle Shuffle加速组件软件安装包。

鲲鹏社区:获取链接

说明:

使用软件包前请先阅读许可协议,如确认继续使用,则默认同意协议的条款和条件。

验证软件包完整性

为了防止软件包在传递过程或存储期间被恶意篡改,获取软件包时需下载对应的数字签名文件用于完整性验证。

  1. 参见表4获取软件包。
  2. 获取《OpenPGP签名验证指南》。
  3. 根据《OpenPGP签名验证指南》进行软件安装包完整性检查。
    • 如果校验失败,请不要使用该软件包,先联系华为技术支持工程师解决。
    • 使用软件包安装或升级之前,也需要按上述过程先验证软件包的数字签名,确保软件包未被篡改。