鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

环境要求

安装OmniOperator算子加速特性前,请参见本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。

硬件要求

集群中各节点硬件要求如表1所示。

表1 硬件要求

硬件环境

管理/计算/存储节点

处理器

鲲鹏920系列处理器

须知:

只有支持SVE(Scalable Vector Extension,可扩展向量指令集)指令集的服务器支持在Gluten上使能OmniOperator。您可以通过cat /proc/cpuinfo | grep sve | head -n 1查询是否支持SVE指令集,如果有输出则表示支持。

内存大小

384GB(12 * 32GB)

内存频率

2666MHz

网络

  • 业务网络10GE
  • 管理网络1GE

硬盘

  • 系统盘:1 * RAID 0(1 * 1.2TB SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8TB SATA HDD)

RAID控制卡

LSI SAS3508

操作系统和软件要求

集群中各节点操作系统和软件要求如表2所示。

表2 操作系统和软件要求

项目

版本

说明

管理节点(Server)

计算/存储节点

操作系统

  • CentOS 7.9
  • openEuler 20.03 LTS SP1
  • openEuler 22.03 LTS SP1

例如openEuler 20.03 LTS SP3、openEuler 22.03 LTS SP3等后续补丁版本亦可。

JDK

毕昇JDK 1.8(毕昇JDK 1.8.0_342)

openEuler 22.03 LTS SP1与毕昇JDK 1.8.0_262不兼容,需更换为毕昇JDK 1.8.0_342

毕昇JDK安装指南请参见《毕昇JDK 8 安装指南》。

Hadoop

3.2.0

部署指南请参见《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)》。

Spark

部署指南请参见《Spark 部署指南(CentOS 7.6&openEuler 20.03)》。

-

Hive

3.1.0

部署指南请参见《Hive部署指南(CentOS 7.6&openEuler 20.03)》。

-

Python

3.10.2及以上

无特殊说明。

  • √:表示对应节点需要安装该项目。
  • -:表示对应节点不需要安装该项目。
  • 以上第三方依赖版本如有漏洞请根据官方说明进行漏洞修复。
  • 以上组件版本,可能和部署指南中的组件版本不一致,部署指南仅供部署参考。

软件安装包获取

安装OmniOperator算子加速特性所需软件安装包及其获取方式如表3所示,后续的操作步骤中,请根据操作指导安装相应的安装包。

在Spark引擎上的应用:

  • SparkExtension场景涉及安装的软件包为序号1、2(根据Spark版本选择对应的SparkExtension版本)和5。
  • Gluten场景涉及安装的软件包为序号4。

在Hive引擎上的应用:

  • HiveExtension场景涉及安装的软件包为序号1、3和5。
表3 OmniOperator算子加速软件获取列表

序号

名称

包名

发布类型

说明

获取地址

1

OmniRuntime压缩包

BoostKit-omniruntime_1.9.0.zip

闭源

解压OmniRuntime压缩包(BoostKit-omniruntime_1.9.0.zip),可获得OmniOperator算子加速软件安装包(BoostKit-omniop_2.0.0.zip)。

鲲鹏社区:获取链接

说明:

使用软件包前请先阅读鲲鹏应用使能套件BoostKit用户许可协议 2.0,如确认继续使用,则默认同意协议的条款和条件。

2

SparkExtension

boostkit-omniop-spark-3.1.1-2.0.0-aarch64.zip

开源

使用OmniOperator算子加速计算底座时,Spark引擎扩展包。

获取链接

boostkit-omniop-spark-3.3.1-2.0.0-aarch64.zip

开源

使用OmniOperator算子加速计算底座时,Spark引擎扩展包。

获取链接

boostkit-omniop-spark-3.4.3-2.0.0-aarch64.zip

开源

使用OmniOperator算子加速计算底座时,Spark引擎扩展包。

获取链接

boostkit-omniop-spark-3.5.2-2.0.0-aarch64.zip

开源

使用OmniOperator算子加速计算底座时,Spark引擎扩展包。

获取链接

3

HiveExtension

boostkit-omniop-hive-3.1.0-2.0.0-aarch64.zip

开源

使用OmniOperator算子加速计算底座时,Hive引擎扩展包。

获取链接

4

Gluten

Boostkit-omniruntime-gluten-1.0.0.zip

开源

OmniOperator算子加速软件安装包(适配Gluten)。

获取链接

Dependency_library_Gluten.zip

Gluten运行时所依赖的库文件。

获取链接

5

Dependency_library

Dependency_library_centos.zip

Dependency_library_openeuler20.03.zip

Dependency_library_openeuler22.03.zip

开源

OmniOperator算子加速运行时所依赖的库文件。请根据OS类型选择对应的依赖包。

CentOS依赖获取链接

openEuler20.03依赖获取链接

openEuler22.03依赖获取链接

软件安装包完整性校验

从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。

校验方法:

  1. 获取软件数字证书和软件安装包。
  2. 获取校验工具和校验方法
  3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。