功能说明
命令功能
生成鲲鹏自动调优的参数空间和应用程序场景的配置模板文件。完善模板文件后可运行“devkit kat train -t task.json -f param.json”开始自动调优。
命令格式
1
|
devkit kat template [-h] [-l {0,1,2,3}] [-o <dir>] (-g | -c <file>) |
参数说明
参数 |
参数选项 |
说明 |
---|---|---|
-h/--help |
- |
可选参数,获取帮助信息。 |
-l/--log-level |
0/1/2/3 |
可选参数,设置日志级别,默认为2。
说明:
新增功能采用更合理设计,默认等级调整为2(WARNING)。
|
-o/--output |
- |
可选参数,设置生成的模板文件的输出路径,不指定将在当前目录生成格式为“template_应用名_YMD_HMS”的目录。 |
-g/--generate |
- |
可选参数,进入模板配置交互界面,生成对应应用的简易模板文件,仅包含任务必须参数。 |
-c/--convert |
- |
可选参数,将简易模板文件转换为全参数的自定义模板文件。
说明:
|
使用示例
以Spark应用为例。
- 生成简易模板。
1
devkit kat template -g -o /opt/template
命令中使用参数“-g”将进入交互界面,用户可选择模板文件需要的基本参数,参数“-o /opt/template”为生成的模板文件存放目录。
- 选择Spark应用。
使用“↑”、“↓”选择,按“Enter”选中应用。
图1 选择应用 - 选择应用版本。
按“Enter”进入版本列表选择需要的版本,按“Space”切换选项前“[ ]”中的参数,Y表示选用该版本。
图2 选择版本图3 选择版本2 - 选择参数类型。
按“Esc”返回上一级目录,使用“↓”选择ParamSpaces,按“Enter”进入参数类型列表选择参数类型。
Spark为应用参数,System为系统参数,Kunpeng uarch为微架构参数。
支持不选择应用参数,仅使用系统参数或微架构参数进行调优。
图4 选择需要配置的参数类型 - 选择具体参数。在启用对应参数后,按“Enter”进入参数配置界面,选择需要启用的详细参数,目前应用参数和系统参数可自定义配置,可键入“/”进入搜索模式,查看需要配置的参数,也可按“Page Up”和“Page Down”翻页查看。图5 选择应用参数
- 保存配置,生成模板文件。
配置完成后按“s”保存模板文件,再按任意键返回保存前界面;如果未指定文件保存目录,将在当前目录下生成名为“template_应用名_YMD_HMS”的模板文件。
图6 生成简易模板文件 - 退出配置交互界面。
按“q”选择退出,再按“y”确认退出;将在终端显示模板文件保存目录。
返回信息如下:
1
[2025-02-12 09:45:56 UTC] [KAT] [message] - The path of the saved file is as follows:: ['/opt/template/template_Spark_20250212_020125']
- 查看简易模板文件。
1
ls /opt/template/template_Spark_20250212_020125
返回信息如下:
- 任务参数文件(task_Spark.json):包含执行任务所需的主机、应用路径、压测等相关信息。
- 应用参数文件(param_Spark.json):包含所选择的各个参数空间中的具体参数信息。
已选择的应用参数和系统参数可在模板文件生成目录下的参数文件param_Spark.json中查看或修改。
1
param_Spark.json task_Spark.json
选择的参数类型不同,生成对应的任务参数文件、应用参数文件名称不同。例如:
- 选择Spark应用参数,名称为task_Spark.json、param_Spark.json
- 选择Spark应用参数、系统参数,名称为task_Spark_System.json、param_Spark_SyStem.json。
- 选择Spakr应用参数、系统参数和微架构参数,名称为task_Spark_System_Kunpeng_uarch.json、param_Spark_System_Kunpeng_uarch.json
- 查看应用参数文件。
1
vim /opt/template/template_Spark_20250212_020125/param_Spark.json
按“Esc”,输入:wq!,按“Enter”保存并退出。
param_xxxx.json文件是在交互界面中选择的应用参数生成的。
图7 应用参数文件 - 查看并完善任务参数文件。
1
vim /opt/template/template_Spark_20250212_020125/task_Spark.json
按“Esc”,输入:wq!,按“Enter”保存并退出。
该模板文件中一些任务必选参数值需用户根据实际情况填写,比如环境信息、应用所在服务器、性能测试工具所在服务器及压测指标等,参数详情可查看简易模板参数说明。
简易模板文件内容如下:
- 保存退出任务参数文件。
完善好基本配置后按“Esc”,输入:wq!后,按“Enter”键保存退出。
- 当简易模板无法满足用户对应用的参数调整时,可转换为自定义模板文件进行操作。
自定义模板文件中包含任务和应用的全量执行命令,便于调整调优任务的整体执行流程。
1
devkit kat template -c /opt/template/template_Spark_20250212_020125/task_Spark.json
转换成功后的返回信息:
1
[2024-12-30 13:53:27 UTC] [KAT] [ info ] - /opt/template/template_Spark_20250212_020125/task_Spark.json has been converted to /opt/template/template_Spark_20250212_020125/task_Spark_custom.json
转换后的模板文件名称会在原来名称的基础上添加“_custom”内容。
自定义模板文件内容如下: