鲲鹏社区首页
中文
注册
开发者
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

同步测试

用户安装KAELz4库后,可以通过本节提供的操作步骤,基于“/KAE/KAELz4/open_source/lz4-1.9.4/test”内开源压缩算法的测试脚本以及kunpeng-lzbench测试工具,测试KAELz4压缩库同步功能和性能。

  1. 请参见源码安装安装KAELz4。
  2. Gitee仓获取lzbench源码,并在源码路径下使用make命令编译生成二进制工具。
  3. 测试LZ4压缩库功能。
    1
    2
    3
    cd /KAE/KAELz4/open_source/lz4-1.9.4/tests
    make
    ./fullbench datagen
    
  4. 测试性能。
    1. 进入lzbench源码路径,查看测试工具所使用的算法库。
      ldd lzbench
      回显如下内容,表示使用的是开源Lz4算法库。
       linux-vdso.so.1 (0x0000ffffae181000)
       libz.so.1 => /usr/lib64/libz.so.1 (0x0000ffffae113000)
       libzstd.so.1 => /usr/lib64/libzstd.so.1 (0x0000ffffae012000)
       liblz4.so.1 => /usr/lib64/liblz4.so.1 (0x0000ffffadfe1000)
       libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000ffffaddeb000)
       libm.so.6 => /usr/lib64/libm.so.6 (0x0000ffffadd4a000)
       libgcc_s.so.1 => /usr/lib64/libgcc_s.so.1 (0x0000ffffadd19000)
       libc.so.6 => /usr/lib64/libc.so.6 (0x0000ffffadb6a000)
       /lib/ld-linux-aarch64.so.1 (0x0000ffffae144000)
    2. 调用开源Lz4算法库测试解压缩性能,测试文件位于“KAE/scripts/compressTestDataset”路径下。
      taskset -c 1 ./lzbench -relz4 -b8 -i1 -j -m1024 /pathtoKAE/scripts/compressTestDataset/

      显示结果如下。

      lzbench 1.8 (64-bit Linux)  (null)
      Assembled by P.Skibinski
      
      Compressor name         Compress. Decompress.  Orig. size  Compr. size  Ratio Filename
      memcpy                  26722 MB/s 27211 MB/s   102760022    102760022 100.00 8 files
      lz4 1.9.4                 472 MB/s  2900 MB/s   102760022     61462487  59.81 8 files
      done... (cIters=1 dIters=1 cTime=1.0 dTime=2.0 chunkSize=8KB cSpeed=0MB)
    3. 设置环境变量LD_LIBRARY_PATH启用KAELz4加速库,查看测试工具所使用的算法库。
      1
      2
      export LD_LIBRARY_PATH=/usr/local/kaelz4/lib:$LD_LIBRARY_PATH
      ldd lzbench
      
      回显如下内容,表示使用的是KAELz4算法库。
      linux-vdso.so.1 (0x0000ffffac665000)
      libz.so.1 => /usr/lib64/libz.so.1 (0x0000ffffac5f7000)
      libzstd.so.1 => /usr/lib64/libzstd.so.1 (0x0000ffffac4f6000)
      liblz4.so.1 => /usr/local/kaelz4/lib/liblz4.so.1 (0x0000ffffac4b5000)
      libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000ffffac2bf000)
      libm.so.6 => /usr/lib64/libm.so.6 (0x0000ffffac21e000)
      libgcc_s.so.1 => /usr/lib64/libgcc_s.so.1 (0x0000ffffac1ed000)
      libc.so.6 => /usr/lib64/libc.so.6 (0x0000ffffac03e000)
      /lib/ld-linux-aarch64.so.1 (0x0000ffffac628000)
      libkaelz4.so.2.0.4 => /usr/local/kaelz4/lib/libkaelz4.so.2.0.4 (0x0000ffffac00b000)
      libwd.so.2 => /usr/local/lib/libwd.so.2 (0x0000ffffabfaa000)
      libwd_comp.so.2 => /usr/local/lib/libwd_comp.so.2 (0x0000ffffabf79000)
      libnuma.so.1 => /usr/lib64/libnuma.so.1 (0x0000ffffabf54000)
    4. 调用KAELz4库测试解压缩性能。
      taskset -c 1 ./lzbench -relz4 -b8 -i1 -j -m1024 ../../../../scripts/compressTestDataset/

      显示结果如下。

      lzbench 1.8 (64-bit Linux)  (null)
      Assembled by P.Skibinski
      
      Compressor name         Compress. Decompress.  Orig. size  Compr. size  Ratio Filename
      memcpy                  26929 MB/s 26177 MB/s   102760022    102760022 100.00 8 files
      lz4 1.9.4                 840 MB/s  3030 MB/s   102760022     58783964  57.21 8 files
      done... (cIters=1 dIters=1 cTime=1.0 dTime=2.0 chunkSize=8KB cSpeed=0MB)
  5. 测试压缩带宽。
    1. 设置环境变量LD_LIBRARY_PATH并启用LZ4加速库。
      1
      export LD_LIBRARY_PATH=/usr/local/kaelz4/lib:$LD_LIBRARY_PATH
      
    2. “/KAE/KAELz4/test/perftest”目录下编译带宽测试工具。
      1
      2
      cd KAE/KAELz4/test/perftest
      make
      
    3. 使用LZ4加速库测试压缩带宽。
      1
      ./kaelz4_perf -m 80 -b 32 -l 640000
      
      显示结果如下。
      1
      2
      3
      kaelz4 perf parameter: multi process 64, stream length: 640000(KB), block size: 32(KB), compress level: 1, compress function: 0, loop times: 1, g_threadnum: 15, core sequence: 0 ~ 63
      kaelz4 compress perf result:
           time used: 82891615 us, speed = 7.069 GB/s