选择“AI调优”,打开新建任务页面。
AI调优分析仅支持在CentOS 7.6、openEuler 20.03和openEuler 22.03 LTS版本操作系统上使用。
参数 |
说明 |
---|---|
任务名称 |
输入分析任务的名称。名称需要满足如下要求:
|
应用分类 |
配置需要调优的应用类别,选择“大数据”。 |
应用名称 |
配置需要调优的应用,选择“Hive”。 |
应用版本 |
配置需要调优应用的版本信息,Hive支持3.0.0和3.1.0~3.1.3。 |
root用户密码 |
配置DevKit节点的root用户密码。AI调优涉及root操作,需要确保用户拥有root权限。 |
Master节点 |
配置集群Master节点。 |
JAVA_HOME |
配置JDK安装目录路径。 |
应用执行文件路径 |
配置应用的执行文件路径,例:/application/hive/bin。 |
应用配置参数 |
选择应用配置参数,默认全勾选,单击“添加参数”按钮可新增,单击“一键恢复”按钮可恢复应用配置参数至初始值。 |
压测工具 |
选择对应用压测的工具,支持TPC-DS。 |
压测工具版本 |
选择压测工具版本,支持TPC-DS 3.0。 |
测试用例 |
选择压测工具使用的测试用例。默认勾选query1.sql,可勾选query1.sql~query99.sql。 |
调优性能指标 |
选择应用调优的性能指标。默认为latency。 |
数据库 |
配置压测时使用的数据库名称。 |
调优迭代次数 |
选择应用调优的迭代次数,默认为150次,可选20、50、100、150和200。 |
参数 |
说明 |
---|---|
任务名称 |
输入分析任务的名称。名称需要满足如下要求:
|
应用分类 |
配置需要调优的应用类别,选择“大数据”。 |
应用名称 |
配置需要调优的应用,选择“Flink”。 |
应用版本 |
配置需要调优应用的版本信息。支持Flink 1.12~1.15。 |
root用户密码 |
配置DevKit节点的root用户密码。AI调优涉及root操作,需要确保用户拥有root权限。 |
部署模式 |
选择应用的部署模式,默认为Yarn,可选Yarn和Standalone。 |
Master&Benchmark节点 |
配置压测工具所在节点。可单击“添加节点”增加agent节点。 |
JAVA_HOME |
配置JDK安装目录路径。 |
应用执行文件路径 |
配置应用的执行文件路径,例:/application/flink/bin。 |
启动参数(可选) |
配置应用启动时的参数,工具提供三个,可单击“添加参数”按钮新增并配置。部署模式选择“Yarn”时可配置。 |
应用配置参数 |
选择应用配置参数,默认全勾选,单击“添加参数”按钮可新增,单击“一键恢复”按钮可恢复应用配置参数至初始值。 |
Flink Master节点IP |
配置Flink的Master节点IP地址。部署模式选择“Standalone”时可配置。 |
Flink Master节点应用端口 |
配置Flink的Master节点应用端口。部署模式选择“Standalone”时可配置。 |
压测工具 |
选择对应用压测的工具,支持Hibench;其中Flink 1.15仅支持华为云HiBench。 |
压测工具版本 |
选择压测工具版本,支持Hibench 7.0。 |
测试用例 |
选择压测工具使用的测试用例。默认为identity,可选identity、repartition和wordcount。 |
调优性能指标 |
选择应用调优的性能指标。默认为throughput,可选throughput、latency和throughput/latency。 |
压测工具路径 |
配置压测工具的文件路径,例:/opt/Hibench-7.0。
说明:
应用程序路径建议配置为 “/home”、“/opt”等,请不要配置为“/”、“/dev”、“/sys”、“/boot”等系统目录,否则可能导致系统异常。 |
吞吐量 |
配置压测时用例的吞吐量。默认为20K,可选20K、40K、60K、80K、100K、200K、300K、400K、500K、600K、700K、800K、900K、1000K、2000K、4000K、6000K、8000K、10000K。 |
调优迭代次数 |
选择应用调优的迭代次数,默认为150次,可选20、50、100、150和200。 |
参数 |
说明 |
---|---|
任务名称 |
输入分析任务的名称。名称需要满足如下要求:
|
应用分类 |
配置需要调优的应用类别,选择“大数据”。 |
应用名称 |
配置需要调优的应用,选择“Spark”。 |
应用版本 |
配置需要调优应用的版本信息。Spark支持2.3.0~2.3.2,2.4.1~2.4.7,3.0.0~3.0.3,3.1.0~3.1.2,3.2.1、3.2.2、3.3.0和3.3.1。 |
root用户密码 |
配置DevKit节点的root用户密码。AI调优涉及root操作,需要确保用户拥有root权限。 |
Master节点 |
配置集群Master节点。 |
JAVA_HOME |
配置JDK安装目录路径。 |
应用执行文件路径 |
配置应用的执行文件路径,例:/application/spark/bin。 |
OmniOperator目录(可选) |
配置OmniOperator目录。 |
部署模式 |
选择应用的部署模式,默认为Yarn,可选Yarn和Standalone。 |
应用配置参数 |
选择应用配置参数,默认全勾选,单击“添加参数”按钮可新增,单击“一键恢复”按钮可恢复应用配置参数至初始值。 |
压测工具 |
选择对应用压测的工具,支持TPC-DS。 |
压测工具版本 |
选择压测工具版本,支持TPC-DS 3.0。 |
测试用例 |
选择压测工具使用的测试用例。默认勾选query1.sql,可勾选query1.sql~query99.sql,其中14,23,24,39用例有a和b两种。 |
调优性能指标 |
选择应用调优的性能指标。默认为latency。 |
数据库 |
配置压测时使用的数据库名称。 |
调优迭代次数 |
选择应用调优的迭代次数,默认为150次,可选20、50、100、150和200。 |
每一行代表一次调优,可单击“终止调优”中断调优进程。