鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

鲲鹏自动调优功能说明

基于支持的十款大数据和数据库应用,使用内置AI算法自动寻优获取性能较好的参数配置,并将这些配置运用到实际应用中,以达到提升性能的目的。

使用鲲鹏920系列处理器时支持鲲鹏寄存器参数自动寻优功能,操作系统内核版本需为4.19.90-2012.4.0.0053.oe1.aarch64或5.10.0-182.0.0.95.oe2203sp3.aarch64。
图1 鲲鹏自动调优使用流程
表1 鲲鹏自动调优使用场景介绍

使用场景

应用启动方式

压测方式

使用说明

数据库

MySQL

通过mysqld指定配置文件方式启动。

使用Sysbench压测。

支持生成简易调优模板,直接修改简易模板文件进行调优,各场景详细内容可参见3

openGauss

通过gs_ctl指定数据库文件夹方式启动。

使用BenchmarkSQL压测。

Vastbase

通过vb_ctl指定数据库文件夹方式启动。

使用BenchmarkSQL压测。

RocksDB

通过db_bench工具进行启动。

使用rocksdb_dbbench进行压测。

PostgreSQL

通过pg_ctl指定数据目录启动。

使用BenchmarkSQL压测。

Redis

通过redis-server指定数据目录启动。

使用自带的redis-benchmark压测。

大数据

Hive

通过hive可执行文件启动。

使用tpcds进行压测。

Spark

自动加载配置文件。

  • on yarn模式:通过yarn-session.sh提交任务启动
  • standalone模式:通过start-all.sh启动

使用tpcds进行压测。

Flink

自动加载配置文件。

  • on yarn模式:通过yarn-session.sh提交任务启动
  • standalone模式:通过start-cluster.sh启动

使用HiBench压测。

Kafka

通过kafka-server-start.sh指定配置文件方式启动。

使用自带的kafka-producer-perf-test.sh压测。

自定义

Custom

-

-

支持生成自定义调优模板,直接修改自定义模板文件进行调优。

Redis

通过redis-server指定数据目录启动。

使用memtier_benchmark压测。

工具提供附加的自定义调优模板,直接修改模板文件进行调优。

  • 以RPM包安装方式安装工具,模板文件存放在“/usr/local/devkit/kat/template_extend”文件夹下。
  • 以压缩包安装方式安装工具,模板文件存放在命令行工具解压目录的“./kat/template_extend”文件夹下。

Spark

自动加载配置文件。

  • on yarn模式:通过yarn-session.sh提交任务启动
  • standalone模式:通过start-all.sh启动

使用HiBench压测。

命令功能

基于不同场景的应用性能指标进行应用配置参数的自动寻优。

命令格式

1
 devkit kat [-h | --help] TASK [ARGS]
  • 示例均为RPM包安装使用。
  • 任务运行前必须配置项:
    • 任务参数配置:参数名称、取值范围和设置方式等。
    • 应用程序场景:应用、Benchmark(若存在)和性能指标等,其中必须保证应用和性能测试工具均可正常运行。

    请根据实际业务场景和需要调优的参数,调整参数配置和应用程序场景。

使用示例

执行以下命令,查看自动调优支持的功能信息:

1
devkit kat -h

返回信息如下:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
Usage: devkit kat [-h | --help] TASK [ARGS]

 The most commonly used devkit kat sub tasks are:
   help       Get help information
   train      Run the auto tuner train task
   template   Run the auto tuner template task
   use        Run the auto tuner use task
   man        Run the auto tuner man task

 See 'devkit kat TASK --help' for more information on a specific task.
表2 功能说明

功能

说明

help

查看帮助信息。

train

开启自动调优。

template

生成模板文件。

use

运用调优结果。

man

查看功能手册。