安装OmniOperator算子加速特性前,请参考本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。
集群中各节点硬件要求如表1所示。
集群中各节点操作系统和软件要求如表2所示。
项目 |
版本 |
说明 |
管理节点(Server) |
计算/存储节点 |
---|---|---|---|---|
操作系统 |
|
- |
√ |
√ |
JDK |
openEuler 22.03 LTS SP1与BiSheng JDK 1.8.0_262不兼容,需更换为BiSheng JDK 1.8.0_342。 |
√ |
√ |
|
Hadoop |
3.2.0 |
部署指南请参考:《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)》 |
√ |
√ |
Hive |
3.1.0 |
部署指南请参考:《Hive 部署指南(CentOS 7.6&openEuler 20.03)》 |
√ |
- |
Spark |
3.1.1 |
部署指南请参考:《Spark 部署指南(CentOS 7.6&openEuler 20.03)》 |
√ |
- |
Python |
3.10.2及以上 |
- |
√ |
√ |
|
以上第三方依赖版本如有漏洞请根据官方说明进行漏洞修复。
安装OmniOperator算子加速特性所需软件安装包及其获取方式如表3所示。
名称 |
包名 |
发布类型 |
说明 |
获取地址 |
---|---|---|---|---|
OmniRuntime压缩包 |
BoostKit-omniruntime_1.1.0.zip |
闭源 |
OmniRuntime压缩包,解压可获得OmniOperator算子加速软件安装包(BoostKit-omniop_1.3.0.zip)。 |
鲲鹏社区:Link 说明:
使用软件包前请先阅读《鲲鹏应用使能套件BoostKit用户许可协议 2.0》,如确认继续使用,则默认同意协议的条款和条件。 |
SparkExtension |
boostkit-omniop-spark-3.1.1-1.3.0-aarch64.zip |
开源 |
使用OmniOperator算子加速计算底座时,Spark引擎扩展包。 |
|
LLVM |
LLVM.zip |
开源 |
- |
|
Jemalloc |
jemalloc.zip |
开源 |
- |
|
HMPP |
BoostKit-hmpp_1.7.0.zip |
开源 |
该加速库依赖鲲鹏920硬件环境。HMPP最新版本为2.0.0版本,1.7.0版本请在历史版本中下载。 |
|
ORC |
ORC.zip |
开源 |
- |
|
Protobuf |
Protobuf.zip |
开源 |
- |
|
Arrow |
Arrow.zip |
开源 |
- |
|
HDFS |
Hdfs.zip |
开源 |
- |
|
Parquet |
Parquet.zip |
开源 |
- |
从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。
校验方法:
https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054