环境要求
安装OmniOperator算子加速特性前,请参见本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。
硬件要求
集群中各节点硬件要求如表1所示。
硬件环境 |
管理/计算/存储节点 |
|---|---|
处理器 |
鲲鹏920系列处理器 须知:
只有支持SVE(Scalable Vector Extension,可扩展向量指令集)指令集的服务器支持在Gluten上使能OmniOperator。您可以通过cat /proc/cpuinfo | grep sve | head -n 1查询是否支持SVE指令集,如果有输出则表示支持。 |
内存大小 |
384GB(12 * 32GB) |
内存频率 |
2666MHz |
网络 |
|
硬盘 |
|
RAID控制卡 |
LSI SAS3508 |
操作系统和软件要求
集群中各节点操作系统和软件要求如表2所示。
- 以上第三方依赖版本如有漏洞请根据官方说明进行漏洞修复。
- 以上组件版本,可能和部署指南中的组件版本不一致,部署指南仅供部署参考。
软件安装包获取
安装OmniOperator算子加速特性所需软件安装包及其获取方式如表3所示,后续的操作步骤中,请根据操作指导安装相应的安装包。
在Spark引擎上的应用:
- SparkExtension场景涉及安装的软件包为序号1、2(根据Spark版本选择对应的SparkExtension版本)和5。
- Gluten场景涉及安装的软件包为序号4。
在Hive引擎上的应用:
- HiveExtension场景涉及安装的软件包为序号1、3和5。
序号 |
名称 |
包名 |
发布类型 |
说明 |
获取地址 |
|---|---|---|---|---|---|
1 |
OmniRuntime压缩包 |
BoostKit-omniruntime_1.9.0.zip |
闭源 |
解压OmniRuntime压缩包(BoostKit-omniruntime_1.9.0.zip),可获得OmniOperator算子加速软件安装包(BoostKit-omniop_2.0.0.zip)。 |
|
2 |
SparkExtension |
boostkit-omniop-spark-3.1.1-2.0.0-aarch64.zip |
开源 |
使用OmniOperator算子加速计算底座时,Spark引擎扩展包。 |
|
boostkit-omniop-spark-3.3.1-2.0.0-aarch64.zip |
开源 |
使用OmniOperator算子加速计算底座时,Spark引擎扩展包。 |
|||
boostkit-omniop-spark-3.4.3-2.0.0-aarch64.zip |
开源 |
使用OmniOperator算子加速计算底座时,Spark引擎扩展包。 |
|||
boostkit-omniop-spark-3.5.2-2.0.0-aarch64.zip |
开源 |
使用OmniOperator算子加速计算底座时,Spark引擎扩展包。 |
|||
3 |
HiveExtension |
boostkit-omniop-hive-3.1.0-2.0.0-aarch64.zip |
开源 |
使用OmniOperator算子加速计算底座时,Hive引擎扩展包。 |
|
4 |
Gluten |
Boostkit-omniruntime-gluten-1.0.0.zip |
开源 |
OmniOperator算子加速软件安装包(适配Gluten)。 |
|
Dependency_library_Gluten.zip |
Gluten运行时所依赖的库文件。 |
||||
5 |
Dependency_library |
Dependency_library_centos.zip Dependency_library_openeuler20.03.zip Dependency_library_openeuler22.03.zip |
开源 |
OmniOperator算子加速运行时所依赖的库文件。请根据OS类型选择对应的依赖包。 |