鲲鹏社区首页
中文
注册
开发者
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

环境要求

安装OmniAdvisor参数调优2.0特性前,请参考本节提前准备软硬件安装环境,以确保后续安装操作顺利进行。

硬件要求

集群中各节点硬件要求如表1所示。

表1 硬件要求

硬件环境

管理/计算/存储节点

处理器

鲲鹏920 5250处理器

内存大小

384GB(12 * 32GB)

内存频率

2666MHz

网卡

  • 业务网络10GE
  • 管理网络GE

硬盘

  • 系统盘:1 * RAID 0(1 * 1.2T SAS HDD)
  • 数据盘:12 * RAID 0(12 * 8T SATA HDD)

RAID控制卡

LSI SAS3508

操作系统和软件要求

集群中各节点操作系统和软件要求如表2所示。

表2 操作系统和软件要求

项目

版本

说明

管理节点(Server)

计算/存储节点

操作系统

  • CentOS 7.9
  • openEuler 22.03 LTS SP1

请按照版本要求自行安装。

JDK

BiSheng JDK 1.8.0_342

BiSheng JDK安装指南请参见《毕昇JDK 8 安装指南》。

Hadoop

3.2.0

部署指南请参见《Hadoop 集群部署(CentOS 7.6&openEuler 20.03)》。

Spark

3.3.1

部署指南请参见《Spark 部署指南(CentOS 7.6&openEuler 20.03)》。

-

ZooKeeper

3.6.2及以上

部署指南请参见《ZooKeeper 部署指南(CentOS 7.6&openEuler 20.03)》。

-

Python

3.11.4

请按照版本要求自行安装。

PostgreSQL

12.0及以上

安装指南请参见《PostgreSQL 安装指南》。

-

Anaconda

4.12.0及以上

Python包管理工具,可根据实际情况选择是否安装。

该软件包的安装与操作系统以及服务器架构相关,无法在此处提供统一下载链接。

-

√:是指对应节点需要安装该项目。

-:是指对应节点不需要安装该项目。

安装OmniAdvisor参数调优2.0所需软件安装包及其获取方式如表3所示。

表3 OmniAdvisor参数调优2.0软件获取列表

名称

包名

发布类型

说明

获取地址

OmniRuntime压缩包

BoostKit-omniruntime_1.8.0.zip

闭源

OmniRuntime压缩包,解压可获得OmniAdvisor参数调优软件安装包(即BoostKit-omniadvisor_2.0.0.zip)。

该特性通过AI迭代调优、专家规则调优、迁移泛化调优以及算子加速,对任务进行参数采样和优化配置推荐,从而实现对Spark任务端到端的参数调优。

鲲鹏社区:获取链接

说明:

使用软件包前请先阅读鲲鹏应用使能套件BoostKit用户许可协议 2.0,如确认继续使用,则默认同意协议的条款和条件。

OmniAdvisor2.0系统框架

BoostKit-omniadvisor_2.0.0.zip

开源

实现了Spark任务劫持,任务提交,数据库交互等功能。

获取链接

OmniAdvisor2.0调优算法

BoostKit-omniadvisor_core_2.0.0.zip

闭源

实现了多种调优算法。

解压OmniRuntime压缩包(BoostKit-omniruntime_1.8.0.zip)后可获得

软件安装包完整性校验

从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。

校验方法:

  1. 获取软件数字证书和软件安装包。
  2. 参考获取链接获取校验工具和校验方法。
  3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。