鲲鹏领域调优工具使用示例

简要示范全流程使用鲲鹏领域调优工具，从生成工作空间（Spark场景为例）到进入一键典配界面、参数值设置、执行性能压测脚本文件、参数自动调优、环境恢复等。

前提条件

以鲲鹏领域调优工具安装路径“/home/devkit-kdt-x.x.x-Linux-aarch64”为例。

操作步骤

生成Spark工作空间。

        
             ./kdt -g spark -o /home/test

指定生成的工作场景为Spark，指定在/home/test目录下生成工作空间。

（可选）在交互界面中根据返回信息输入相关内容。

存在对工作空间的加密配置，若输入加密密码，则会保存输入的敏感依赖参数，例如BMC_PASSWD，后续进入一键典配页面后无需用户再次输入。
存在对OmniOperator的配置，OMNIOP_DEPLOY_MODE、OMNIOP_ROOT_DIR、OMNIOP_SPARK_CONF_FILE、OMNI_RUNTIME_PACKAGE_LOCATION、OMNIOP_PACKAGE_LOCATION、OMNIOP_DEPENDENCY_LIB_PACKAGE_LOCATION为Omni相关的配置项。
存在对BIOS的配置，BMC_IP、BMC_USER、BMC_PASSWD（可不输入，但后续工具无法对BIOS配置进行设置）为BMC的IP地址、用户名和密码。可在当前输入也可在后续的界面中输入。
存在对Spark的配置，SPARK_CONFIG_FILE为Spark应用的配置文件路径。（例如：“/opt/tools/installed/spark-3.3.1-bin-hadoop3/conf/spark-defaults.conf”）
workspace path为“/home/test”，后续依赖该路径进入对应的工作空间进行调优。

Please enter workspace password to encrypt sensitive data (leave empty for none):
Please enter password again:
Enter the following configuration dependencies to set the baseline:
=== Host: localhost ===
[Omni] OMNIOP_DEPLOY_MODE (Optional: the OmniOperator deployment mode. Optional value is extension or gluten. Default value: extension):
[Omni] OMNIOP_ROOT_DIR (Optional: root directory for installing the OmniOperator. Default value: /opt/kdt):
[Omni] OMNIOP_SPARK_CONF_FILE (Optional: absolute path of the Spark configuration file. Default value: /usr/local/spark/conf/spark-defaults.conf):/opt/tools/installed/spark-3.1.1-bin-hadoop3.2/conf/spark-defaults.conf
[Omni] OMNI_RUNTIME_PACKAGE_LOCATION (Optional: absolute path of the OmniRuntime zip package (example: /home/BoostKit-omniruntime_1.9.0.zip).):
[Omni] OMNIOP_PACKAGE_LOCATION (Optional: absolute path of the OmniOperator zip package (example: /home/boostkit-omniop-spark-3.1.1-2.0.0-aarch64.zip).):
[Omni] OMNIOP_DEPENDENCY_LIB_PACKAGE_LOCATION (Optional: absolute path of the OmniOperator dependency library zip package (example: /home/Dependency_library_openeuler20.03.zip).):
[bios] BMC_IP (ip of bmc): xx.xx.xx.xx
[bios] BMC_USER (user name of bmc): Administrator
[bios] BMC_PASSWD (password of bmc):
[spark, jvm] SPARK_CONFIG_FILE (full path of the Spark configuration file): /opt/tools/installed/spark-3.3.1-bin-hadoop3/conf/spark-defaults.conf
Getting the baseline... Please wait.
Generate workspace success. workspace path is /home/test

进入工作空间。
```
./kdt -t /home/test
```
执行命令后进入到一键典配界面，如图1所示。

图1 一键典配界面
配置参数值。
1. （可选）若需要配置OmniOperator参数项，可在配置编辑区下方配置OmniOperator依赖相关路径。
  1. OMNI_RUNTIME_PACKAGE_LOCATION路径配置为“/home/omni_dep/BoostKit-omniruntime_1.9.0.zip”，OMNIOP_PACKAGE_LOCATION配置为“/home/omni_dep/boostkit-omniop-spark-3.3.1-2.0.0-aarch64.zip”，OMNIOP_DEPENDENCY_LIB_PACKAGE_LOCATION配置为“/home/omni_dep/Dependency_library_openeuler22.03.zip”，其余为默认配置。OmniOperator相关依赖下载请参见《OmniOperator算子加速》的安装指南章节。
2. 本示例以使用推荐值为例，单击“Set”按钮将推荐值设置生效。
  
  在中间配置编辑区，KDT工具为参数提供了推荐值（set_value列），若需要直接使用推荐值，可单击“Set”按钮使推荐值生效；如需要修改为其他值，请在set_value列进行修改，修改后单击“Set”按钮使设置生效。
图2 使推荐值生效
添加性能压测脚本文件并执行。
在右侧快照区的SCRIPT_PATH中输入性能压测脚本文件路径“/home/spark_benchmark_run_demo/spark_run.sh”，单击“Run & Generate snapshot”按钮运行脚本文件并生成快照。

图3 压测结果

生成的快照中推荐值的压测结果为12.303，可进一步通过工具的内置AI算法进行参数寻优，获取更优参数组合及推荐值。
单击“Auto tune”进入到参数自动调优界面，在调优任务配置区，修改调优轮次为5轮，调优方向为low，修改完成后单击“Auto tune”开始自动调优。
图4 开始自动调优

调优完成后，可在调优任务区查看调优的最优值（16.21），后续可通过增加调优轮次尝试获取更优效果。
图5 调优完成

单击“Show log”可查看自动调优结果的运行回显。
图6 调优日志
单击“Set top”按钮，将最优轮次参数值下发至一键典配界面对应的参数。
图7 最优参数值

图8 Set top

后续步骤可参见3.b将最优轮次参数值设置生效。
（可选）恢复默认值并清除部分参数配置、临时文件等数据。
1. 在右侧快照区选择“snap_000”，单击“Load snapshot”按钮，在弹框中单击“OK”。
2. 单击“Set”按钮，在弹框中单击“OK”，将参数值恢复为默认值。
3. 单击“Clear”按钮，在弹框中单击“OK”，将清除部分参数配置、临时文件等数据。
图9 Load snapshot

图10 Set

图11 Clear

父主题： 鲲鹏领域调优工具KDT（CLI）