OmniShuffle Shuffle加速环境要求

处理器

鲲鹏920 5250处理器

鲲鹏920 5250处理器

内存大小

384GB（12 * 32GB）

384GB（12 * 32GB）

内存频率

2666MHz

2666MHz

网卡

• 业务网络10GE
• 管理网络GE

• 业务网络10GE
• 管理网络GE

硬盘

• 系统盘：1 * RAID 0（1 * 1.2T SAS HDD）
• 数据盘：12 * RAID 0（12 * 8T SATA HDD）

• 系统盘：1 * RAID 0（1 * 1.2T SAS HDD）
• 数据盘：12 * RAID 0（12 * 8T SATA HDD）

RAID卡

LSI SAS3508

LSI SAS3508

操作系统

• openEuler 20.03 LTS SP1
• openEuler 22.03 LTS SP1

推荐使用openEuler 22.03

LTS SP1；基于openEuler 20.03 LTS SP1使用时，应将组件glibc升级到2.32及以上。

√

√

网卡驱动

Mellanox 5.4-3.6.8.1-LTS

-

√

√

JDK

BiSheng JDK 1.8（优选BiSheng JDK 1.8.0_342）

-

√

√

Hadoop

3.2.0

部署指南请参考：《Hadoop 集群部署（CentOS 7.6&openEuler 20.03）》

√

√

Hive

3.1.0

部署指南请参考：《Hive 部署指南（CentOS 7.6&openEuler 20.03）》

√

-

Spark

3.1.1

部署指南请参考：《Spark 部署指南（CentOS 7.6&openEuler 20.03）》

√

-

ZooKeeper

3.6.2及以上

部署指南请参考：《ZooKeeper 部署指南（CentOS 7.6&openEuler 20.03）》

√

-

OmniShuffle

BoostKit-omniruntime_1.0.0.zip

闭源

OmniRuntime压缩包，解压可获得OmniShuffle Shuffle加速软件安装包（BoostKit-omnishuffle_1.3.0.tar.gz）

鲲鹏社区：Link

SparkExtension

BoostKit-omnishuffle-spark-3.1.1-1.3.0-aarch64.zip

开源

使用OmniShuffle Shuffle加速叠加OmniOperator算子加速时，Spark引擎扩展包。

Link