大数据调优

任务名称

输入分析任务的名称。名称需要满足如下要求：

1. 只能由中文、字母、数字和下划线组成。
2. 长度为1~64个字符。

应用分类

配置需要调优的应用类别，选择“大数据”。

应用名称

配置需要调优的应用，可选Hive、Spark和Flink。

应用版本

配置需要调优应用的版本信息。

Flink支持1.12-1.15，Hive支持3.0.0和3.1.0-3.1.3，Spark支持2.3.0-2.3.2，2.4.1-2.4.7，3.0.0-3.0.3，3.1.0-3.1.2，3.2.1、3.2.2、3.3.0和3.3.1。

root用户密码

配置DevKit节点的root用户密码。AI调优涉及root操作，需要确保用户拥有root权限。

部署模式

选择应用的部署模式，默认为Yarn，可选Yarn和Standalone。

应用名称选择“Flink”或“Spark”时需配置。

Master&Benchmark节点

配置压测工具所在节点。可单击“添加节点”增加agent节点。应用名称选择“Flink”时需配置。

Master节点

配置集群Master节点。应用名称选择“Hive”或“Spark”时需配置。

应用执行文件路径

配置应用的执行文件路径，例：/application/hive/bin。

启动参数（可选）

配置应用启动时的参数，工具提供三个，可单击“添加参数”按钮新增并配置。

应用名称选择“Flink”，部署模式选择“Yarn”时可配置。

应用配置参数（可选）

选择应用配置参数，默认全勾选，单击“添加参数”按钮可新增，单击“一键恢复”按钮可恢复应用配置参数至初始值。

OmniOperator目录（可选）

配置OmniOperator目录。应用名称选择“Spark”时可配置。

Flink Master节点IP

配置Flink的Master节点IP地址。应用名称选择“Flink”时需配置。

Flink Master节点应用端口

配置Flink的Master节点应用端口。应用名称选择“Flink”时需配置。

压测工具

选择对应用压测的工具，目前Flink仅支持Hibench，Hive和Spark仅支持TPC-DS；其中Flink 1.15仅支持华为云HiBench。

压测工具版本

选择压测工具版本，Hibench支持7.0，TPC-DS支持3.0。

测试用例

选择压测工具使用的测试用例。

应用名称选择“Flink”时默认为identity，可选identity、repartition和wordcount。

应用名称选择“Spark”时默认勾选query1.sql，可勾选query1.sql~query99.sql，其中14，23，24，39用例有a和b两种。

应用名称选择“Hive”时默认勾选query1.sql，可勾选query1.sql~query99.sql。

调优性能指标

选择应用调优的性能指标。

应用名称选择“Flink”时默认为throughput，可选throughput、latency和throughput/latency。

应用名称选择“Spark”时默认为latency。

应用名称选择“Hive”时默认为latency。

JAVA_HOME

配置JDK安装目录路径。

数据库

配置压测时使用的数据库名称。应用名称选择“Hive”或“Spark”时需配置。

压测工具路径

配置压测工具的文件路径，例：/opt/Hibench-7.0。

吞吐量

配置压测时用例的吞吐量，应用名称选择“Flink”时需配置。默认为20K，可选20K、40K、60K、80K、100K、200K、300K、400K、500K、600K、700K、800K、900K、1000K、2000K、4000K、6000K、8000K、10000K。

调优迭代次数

选择应用调优的迭代次数，默认为150次，可选20、50、100、150和200。