导入测试数据并测试性能

本章以Doris指令优化在TPC-H测试集上的测试步骤为例测试性能。

下载安装TPC-H工具包。

从已下载的Doris源码中拷贝tpch-tools文件夹到“/opt/tools/installed”目录下。

         
              cp -r /opt/tools/installed/doris-2.1.2-rc04/tools/tpch-tools /opt/tools/installed

进入tpch-tools文件夹。

         
              cd /opt/tools/installed/tpch-tools

在“TPC-H_Tools_v3.0.0/”目录下生成dbgen二进制文件。
1

sh bin/build-tpch-dbgen.sh

更改测试工具的配置文件“conf/doris-cluster.conf”。

打开配置文件。
1

vi conf/doris-cluster.conf

按“i”进入编辑模式，在文件中修改以下内容。

         
              # Any of FE host
export FE_HOST='xx.xx.xx.xx'
# http_port in fe.conf
export FE_HTTP_PORT=8030
# query_port in fe.conf
export FE_QUERY_PORT=9030
# Doris username
export USER='root'
# Doris password
export PASSWORD=''
# The database where TPC-H tables located
export DB='tpch100G'

FE_HOST是配置FE的IP地址，一般为本地物理机的IP地址，例如：172.18.0.11/21。
FE_HTTP_PORT是配置FE的http_port，与fe.conf中保持一致。
FE_QUERY_PORT是配置FE的query_port，与fe.conf中保持一致。
USER是用户名。
PASSWORD是密码，如无配置则为空。
DB是TPC-H对应的数据库名称。

按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

生成TPC-H数据集。
1

sh bin/gen-tpch-data.sh -s 100 -c 40
- -s是标识数据集的大小，可以自定义改为10、500、1000，单位为G。
- -c是标识并发多少个线程生成数据。
生成TPC-H数据表执行。
1

sh bin/create-tpch-tables.sh
导入数据执行。
1

sh bin/load-tpch-data.sh -c 40
执行测试SQL，对比开源版本doris_be和新编译的doris_be的性能。
1

sh bin/run-tpch-queries.sh -s 100
- 开源版本doris_be性能结果图如图1。
  图1 开源版本doris_be性能结果图
- 优化后的doris_be性能结果图如图2。
  图2 优化后的doris_be性能结果图

父主题： 特性使用