---
title: 大数据调优
description: "1. 单击系统性能分析后面的。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengdevkithistory/devkit_24/usermanual/devkit-hypertuner-157.html
sourcePath: /source/zh/kunpengdevkithistory/devkit_24/usermanual/devkit-hypertuner-157.html
indexId: 927ea617b9308f9d635000121df6de7bb0908ed859fb7ef78b716b7c7592435679
---
# 大数据调优

1. 单击系统性能分析后面的。
  选择“AI调优”，打开新建任务页面。

2. 设置任务参数，如图1所示，需要配置的选项如表1、表2和表3所示。
  AI调优分析仅支持在CentOS 7.6、openEuler 20.03和openEuler 22.03 LTS版本操作系统上使用。

  图1 新建AI调优分析任务（大数据）

**表1 新建AI调优分析任务（大数据-Hive）参数说明**

| 参数 | 说明 |
| --- | --- |
| 任务名称 | 输入分析任务的名称。名称需要满足如下要求： 只能由中文、字母、数字和下划线组成。 长度为1~64个字符。 |
| 应用分类 | 配置需要调优的应用类别，选择“大数据”。 |
| 应用名称 | 配置需要调优的应用，选择“Hive”。 |
| 应用版本 | 配置需要调优应用的版本信息，Hive支持3.0.0和3.1.0~3.1.3。 |
| root用户密码 | 配置DevKit节点的root用户密码。AI调优涉及root操作，需要确保用户拥有root权限。 |
| Master节点 | 配置集群Master节点。 |
| JAVA\_HOME | 配置JDK安装目录路径。 |
| 应用执行文件路径 | 配置应用的执行文件路径，例：/application/hive/bin。 |
| 应用配置参数 | 选择应用配置参数，默认全勾选，单击“添加参数”按钮可新增，单击“一键恢复”按钮可恢复应用配置参数至初始值。 |
| 压测工具 | 选择对应用压测的工具，支持TPC\-DS。 |
| 压测工具版本 | 选择压测工具版本，支持TPC\-DS 3.0。 |
| 测试用例 | 选择压测工具使用的测试用例。默认勾选query1.sql，可勾选query1.sql~query99.sql。 |
| 调优性能指标 | 选择应用调优的性能指标。默认为latency。 |
| 数据库 | 配置压测时使用的数据库名称。 |
| 调优迭代次数 | 选择应用调优的迭代次数，默认为150次，可选20、50、100、150和200。 |


**表2 新建AI调优分析任务（大数据-Flink）参数说明**

| 参数 | 说明 |
| --- | --- |
| 任务名称 | 输入分析任务的名称。名称需要满足如下要求： 只能由中文、字母、数字和下划线组成。 长度为1~64个字符。 |
| 应用分类 | 配置需要调优的应用类别，选择“大数据”。 |
| 应用名称 | 配置需要调优的应用，选择“Flink”。 |
| 应用版本 | 配置需要调优应用的版本信息。支持Flink 1.12~1.15。 |
| root用户密码 | 配置DevKit节点的root用户密码。AI调优涉及root操作，需要确保用户拥有root权限。 |
| 部署模式 | 选择应用的部署模式，默认为Yarn，可选Yarn和Standalone。 |
| Master&Benchmark节点 | 配置压测工具所在节点。可单击“添加节点”增加agent节点。 |
| JAVA\_HOME | 配置JDK安装目录路径。 |
| 应用执行文件路径 | 配置应用的执行文件路径，例：/application/flink/bin。 |
| 启动参数（可选） | 配置应用启动时的参数，工具提供三个，可单击“添加参数”按钮新增并配置。部署模式选择“Yarn”时可配置。 |
| 应用配置参数 | 选择应用配置参数，默认全勾选，单击“添加参数”按钮可新增，单击“一键恢复”按钮可恢复应用配置参数至初始值。 |
| Flink Master节点IP | 配置Flink的Master节点IP地址。部署模式选择“Standalone”时可配置。 |
| Flink Master节点应用端口 | 配置Flink的Master节点应用端口。部署模式选择“Standalone”时可配置。 |
| 压测工具 | 选择对应用压测的工具，支持HiBench；其中Flink 1.15仅支持华为云HiBench。 |
| 压测工具版本 | 选择压测工具版本，支持HiBench 7.0。 |
| 测试用例 | 选择压测工具使用的测试用例。默认为identity，可选identity、repartition和wordcount。 |
| 调优性能指标 | 选择应用调优的性能指标。默认为throughput，可选throughput、latency和throughput/latency。 |
| 压测工具路径 | 配置压测工具的文件路径，例：/opt/HiBench\-7.0。 说明： 应用程序路径建议配置为 “/home”、“/opt”等，请不要配置为“/”、“/dev”、“/sys”、“/boot”等系统目录，否则可能导致系统异常。 |
| 吞吐量 | 配置压测时用例的吞吐量。默认为20K，可选20K、40K、60K、80K、100K、200K、300K、400K、500K、600K、700K、800K、900K、1000K、2000K、4000K、6000K、8000K、10000K。 |
| 调优迭代次数 | 选择应用调优的迭代次数，默认为150次，可选20、50、100、150和200。 |


**表3 新建AI调优分析任务（大数据-Spark）参数说明**

| 参数 | 说明 |
| --- | --- |
| 任务名称 | 输入分析任务的名称。名称需要满足如下要求： 只能由中文、字母、数字和下划线组成。 长度为1~64个字符。 |
| 应用分类 | 配置需要调优的应用类别，选择“大数据”。 |
| 应用名称 | 配置需要调优的应用，选择“Spark”。 |
| 应用版本 | 配置需要调优应用的版本信息。Spark支持2.3.0~2.3.2，2.4.1~2.4.7，3.0.0~3.0.3，3.1.0~3.1.2，3.2.1、3.2.2、3.3.0和3.3.1。 |
| root用户密码 | 配置DevKit节点的root用户密码。AI调优涉及root操作，需要确保用户拥有root权限。 |
| Master节点 | 配置集群Master节点。 |
| JAVA\_HOME | 配置JDK安装目录路径。 |
| 应用执行文件路径 | 配置应用的执行文件路径，例：/application/spark/bin。 |
| OmniOperator目录（可选） | 配置OmniOperator目录。 |
| 部署模式 | 选择应用的部署模式，默认为Yarn，可选Yarn和Standalone。 |
| 应用配置参数 | 选择应用配置参数，默认全勾选，单击“添加参数”按钮可新增，单击“一键恢复”按钮可恢复应用配置参数至初始值。 |
| 压测工具 | 选择对应用压测的工具，支持TPC\-DS。 |
| 压测工具版本 | 选择压测工具版本，支持TPC\-DS 3.0。 |
| 测试用例 | 选择压测工具使用的测试用例。默认勾选query1.sql，可勾选query1.sql~query99.sql，其中14，23，24，39用例有a和b两种。 |
| 调优性能指标 | 选择应用调优的性能指标。默认为latency。 |
| 数据库 | 配置压测时使用的数据库名称。 |
| 调优迭代次数 | 选择应用调优的迭代次数，默认为150次，可选20、50、100、150和200。 |


3. 配置完成后，单击“校验并创建”按钮。
4. 单击任务名，查看调优（以Spark 3.3.0为例）。
  若无法运行测试用例，任务失败，可单击“AI调优运行日志”下载对应日志信息查看失败原因和失败用例信息。 状态为无效，可能是参数冲突或环境因素，少量无效轮次不影响最终调优结果，若连续多次无效，将自动停止调优。 状态为开始调优的基准值，状态表示该轮调优成功。

  每一行代表一次调优，可单击“终止调优”中断调优进程。

  图2 大数据AI调优分析

5. 单击“下载优化后参数集”按钮下载已调优的数据库配置。