环境要求
安装OmniAdvisor参数调优2.0特性前,请参考本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。
硬件要求
集群中各节点硬件要求如表1所示。
操作系统和软件要求
集群中各节点操作系统和软件要求如表2所示。
项目 |
版本 |
说明 |
管理节点(Server) |
计算/存储节点 |
---|---|---|---|---|
操作系统 |
|
请按照版本要求自行安装。 |
√ |
√ |
JDK |
√ |
√ |
||
Hadoop |
√ |
√ |
||
Spark |
√ |
- |
||
ZooKeeper |
- |
√ |
||
Python |
3.11.4 |
请按照版本要求自行安装。 |
√ |
√ |
PostgreSQL |
√ |
- |
||
Anaconda |
4.12.0及以上 |
Python包管理工具,可根据实际情况选择是否安装。 该软件包的安装与操作系统以及服务器架构相关,无法在此处提供统一下载链接。 |
√ |
- |
√:是指对应节点需要安装该项目。 -:是指对应节点不需要安装该项目。 |
安装OmniAdvisor参数调优2.0所需软件安装包及其获取方式如表3所示。
名称 |
包名 |
发布类型 |
说明 |
获取地址 |
---|---|---|---|---|
OmniRuntime压缩包 |
BoostKit-omniruntime_1.8.0.zip |
闭源 |
OmniRuntime压缩包,解压可获得OmniAdvisor参数调优软件安装包(即BoostKit-omniadvisor_2.0.0.zip)。 该特性通过AI迭代调优、专家规则调优、迁移泛化调优以及算子加速,对任务进行参数采样和优化配置推荐,从而实现对Spark任务端到端的参数调优。 |
|
OmniAdvisor2.0系统框架 |
BoostKit-omniadvisor_2.0.0.zip |
开源 |
实现了Spark任务劫持,任务提交,数据库交互等功能。 |
|
OmniAdvisor2.0调优算法 |
BoostKit-omniadvisor_core_2.0.0.zip |
闭源 |
实现了多种调优算法。 |
解压OmniRuntime压缩包(BoostKit-omniruntime_1.8.0.zip)后可获得 |