鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

功能说明

命令功能

生成鲲鹏自动调优的参数空间和应用程序场景的配置模板文件。完善模板文件后可运行“devkit kat train -t task.json -f param.json”开始自动调优。

命令格式

1
devkit kat template [-h] [-l {0,1,2,3}] [-o <dir>] (-g | -c <file>)

参数说明

表1 参数说明

参数

参数选项

说明

-h/--help

-

可选参数,获取帮助信息。

-l/--log-level

0/1/2/3

可选参数,设置日志级别,默认为2。
说明:

新增功能采用更合理设计,默认等级调整为2(WARNING)。

  • 0:日志级别为DEBUG。
  • 1:日志级别为INFO。
  • 2:日志级别为WARNING。
  • 3:日志级别为ERROR。

-o/--output

-

可选参数,设置生成的模板文件的输出路径,不指定将在当前目录生成格式为“template_应用名_YMD_HMS”的目录。

-g/--generate

-

可选参数,进入模板配置交互界面,生成对应应用的简易模板文件,仅包含任务必须参数。

-c/--convert

-

可选参数,将简易模板文件转换为全参数的自定义模板文件。

说明:
  • 简易模板仅需用户配置包含执行任务所需的主机信息、应用路径、压测等相关信息。
  • 自定义模板文件中包含任务和应用的全量执行命令,当对应用存在自定义需求时,简易模板中的配置信息可能和自定义功能不匹配,需转化为具有全量执行信息的自定义模板,便于用户针对性修改自动调优的执行流程。

使用示例

以Spark应用为例。

  1. 生成简易模板。
    1
    devkit kat template -g -o /opt/template
    

    命令中使用参数“-g”将进入交互界面,用户可选择模板文件需要的基本参数,参数“-o /opt/template”为生成的模板文件存放目录。

  2. 选择Spark应用。

    使用“↑”“↓”选择,按“Enter”选中应用。

    图1 选择应用
  3. 选择应用版本。

    “Enter”进入版本列表选择需要的版本,按“Space”切换选项前“[ ]”中的参数,Y表示选用该版本。

    图2 选择版本
    图3 选择版本2
  4. 选择参数类型。

    “Esc”返回上一级目录,使用“↓”选择ParamSpaces,按“Enter”进入参数类型列表选择参数类型。

    Spark为应用参数,System为系统参数,Kunpeng uarch为微架构参数。

    支持不选择应用参数,仅使用系统参数或微架构参数进行调优。

    图4 选择需要配置的参数类型
  5. 选择具体参数。
    在启用对应参数后,按“Enter”进入参数配置界面,选择需要启用的详细参数,目前应用参数和系统参数可自定义配置,可键入“/”进入搜索模式,查看需要配置的参数,也可按“Page Up”和“Page Down”翻页查看。
    图5 选择应用参数
  6. 保存配置,生成模板文件。

    配置完成后按“s”保存模板文件,再按任意键返回保存前界面;如果未指定文件保存目录,将在当前目录下生成名为“template_应用名_YMD_HMS”的模板文件。

    图6 生成简易模板文件
  7. 退出配置交互界面。

    按“q”选择退出,再按“y”确认退出;将在终端显示模板文件保存目录。

    返回信息如下:

    1
    [2025-02-12 09:45:56 UTC] [KAT] [message] - The path of the saved file is as follows:: ['/opt/template/template_Spark_20250212_020125']
    
  8. 查看简易模板文件。
    1
    ls /opt/template/template_Spark_20250212_020125
    

    返回信息如下:

    • 任务参数文件(task_Spark.json):包含执行任务所需的主机、应用路径、压测等相关信息。
    • 应用参数文件(param_Spark.json):包含所选择的各个参数空间中的具体参数信息。

    已选择的应用参数和系统参数可在模板文件生成目录下的参数文件param_Spark.json中查看或修改。

    1
    param_Spark.json  task_Spark.json
    

    选择的参数类型不同,生成对应的任务参数文件、应用参数文件名称不同。例如:

    • 选择Spark应用参数,名称为task_Spark.json、param_Spark.json
    • 选择Spark应用参数、系统参数,名称为task_Spark_System.json、param_Spark_SyStem.json。
    • 选择Spakr应用参数、系统参数和微架构参数,名称为task_Spark_System_Kunpeng_uarch.json、param_Spark_System_Kunpeng_uarch.json
  9. 查看应用参数文件。
    1
    vim /opt/template/template_Spark_20250212_020125/param_Spark.json
    

    按“Esc”,输入:wq!,按“Enter”保存并退出。

    param_xxxx.json文件是在交互界面中选择的应用参数生成的。

    图7 应用参数文件
  10. 查看并完善任务参数文件。
    1
    vim /opt/template/template_Spark_20250212_020125/task_Spark.json
    

    按“Esc”,输入:wq!,按“Enter”保存并退出。

    该模板文件中一些任务必选参数值需用户根据实际情况填写,比如环境信息、应用所在服务器、性能测试工具所在服务器及压测指标等,参数详情可查看简易模板参数说明

    简易模板文件内容如下:

  11. 保存退出任务参数文件。

    完善好基本配置后按“Esc”,输入:wq!后,按“Enter”键保存退出。

  12. 当简易模板无法满足用户对应用的参数调整时,可转换为自定义模板文件进行操作。

    自定义模板文件中包含任务和应用的全量执行命令,便于调整调优任务的整体执行流程。

    1
    devkit kat template -c /opt/template/template_Spark_20250212_020125/task_Spark.json
    

    转换成功后的返回信息:

    1
    [2024-12-30 13:53:27 UTC] [KAT] [ info  ] - /opt/template/template_Spark_20250212_020125/task_Spark.json has been converted to /opt/template/template_Spark_20250212_020125/task_Spark_custom.json
    

    转换后的模板文件名称会在原来名称的基础上添加“_custom”内容。

    自定义模板文件内容如下: