架构介绍
OmniAdvisor参数调优2.0软件主要分为三部分：劫持优化组件、后台调优服务和历史数据库。
劫持优化组件可认为是Client端，后台调优服务可认为是Server端，而历史数据库负责存储软件过程中产生的数据。OmniAdvisor参数调优2.0软件的示意图如图1所示。
劫持优化组件的核心功能逻辑如下：
- 劫持租户任务请求，解析获得任务请求信息。
- 查询历史数据库，获得相应任务的最优配置。
- 将任务负载与最优配置，提交至Spark集群执行，并获得执行结果。
- 将执行结果记录到历史数据库中。
后台调优服务核心功能逻辑如下：
- 管理员指定任务负载，提交调优请求。
- 查询历史数据库，获取相关历史数据。
- 通过调优获得最优配置，并将其写入至历史数据库中。
- 本特性基于Spark History Server提供的标准REST API接口，通过用户在配置文件common_config.ini中使用spark.history.rest.url指定的侦听端口，实时采集Spark SQL作业执行过程中的详细运行指标（如任务耗时、资源利用率、阶段执行状态等），并将采集数据结构化存储至用户预先配置的PostgreSQL数据库中。所获取的Spark SQL业务运行数据仅限用于作业性能调优，严格禁止数据对外传输或向第三方披露，确保数据全生命周期的封闭性与安全性。
- 技术支持人员在实际启用本特性时，必须主动向用户（或用户代表）获取明确的书面（如邮件、工单确认）或系统留痕的数据采集授权说明，确保操作符合用户数据使用规范。未经用户授权，严禁擅自开启数据采集功能或访问相关数据。
父主题： 特性介绍