OmniOperator算子加速环境要求
硬件要求
集群中各节点硬件要求如表1所示。
硬件环境 |
管理节点 |
计算/存储节点 |
---|---|---|
处理器 |
鲲鹏920 5220处理器 |
鲲鹏920 5220处理器 |
内存大小 |
384GB(12 * 32GB) |
384GB(12 * 32GB) |
内存频率 |
2666MHz |
2666MHz |
网卡 |
|
|
硬盘 |
|
|
RAID卡 |
LSI SAS3508 |
LSI SAS3508 |
操作系统和软件要求
集群中各节点操作系统和软件要求如表2所示。
项目 |
版本 |
说明 |
管理节点 Server |
计算/存储节点 |
---|---|---|---|---|
操作系统 |
|
- |
√ |
√ |
JDK |
- |
√ |
√ |
|
Hadoop |
3.2.0 |
√ |
√ |
|
Hive |
3.1.0 |
√ |
- |
|
Spark |
3.1.1 |
√ |
√ |
|
Python |
3.10.2及以上 |
- |
√ |
√ |
以上第三方依赖版本如有漏洞请根据官方说明进行漏洞修复。
软件获取
安装OmniOperator算子加速特性所需软件包及其获取方式如表3所示。
名称 |
包名 |
发布类型 |
说明 |
获取地址 |
---|---|---|---|---|
OmniRuntime压缩包 |
BoostKit-omniruntime_1.0.0.zip |
闭源 |
OmniRuntime压缩包,压缩包解压可获得OmniOperator算子加速二进制包和OmniMV物化视图二进制包。 |
|
SparkExtension |
boostkit-omniop-spark-3.1.1-1.2.0-aarch64.zip |
开源 |
使用OmniOperator算子加速计算底座时,Spark引擎扩展包。 |
|
LLVM |
LLVM.zip |
- |
- |
|
jemalloc |
jemalloc.zip |
- |
- |
|
HMPP |
BoostKit-hmpp_1.7.0.zip |
该加速库依赖鲲鹏920硬件环境 |
HMPP最新版本为2.0.0版本,1.7.0版本请在历史版本中下载。 |
|
ORC |
ORC.zip |
- |
- |
|
Protobuf |
Protobuf.zip |
- |
- |
父主题: 环境要求