同步测试
用户安装KAELz4库后,可以通过本节提供的操作步骤,基于“/KAE/KAELz4/open_source/lz4-1.9.4/test”内开源压缩算法的测试脚本以及kunpeng-lzbench测试工具,测试KAELz4压缩库同步功能和性能。
- 请参见源码安装安装KAELz4。
- 从Gitee仓获取lzbench源码,并在源码路径下使用make命令编译生成二进制工具。
- 测试LZ4压缩库功能。
1 2 3
cd /KAE/KAELz4/open_source/lz4-1.9.4/tests make ./fullbench datagen
- 测试性能。
- 进入lzbench源码路径,查看测试工具所使用的算法库。
ldd lzbench
回显如下内容,表示使用的是开源Lz4算法库。linux-vdso.so.1 (0x0000ffffae181000) libz.so.1 => /usr/lib64/libz.so.1 (0x0000ffffae113000) libzstd.so.1 => /usr/lib64/libzstd.so.1 (0x0000ffffae012000) liblz4.so.1 => /usr/lib64/liblz4.so.1 (0x0000ffffadfe1000) libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000ffffaddeb000) libm.so.6 => /usr/lib64/libm.so.6 (0x0000ffffadd4a000) libgcc_s.so.1 => /usr/lib64/libgcc_s.so.1 (0x0000ffffadd19000) libc.so.6 => /usr/lib64/libc.so.6 (0x0000ffffadb6a000) /lib/ld-linux-aarch64.so.1 (0x0000ffffae144000)
- 调用开源Lz4算法库测试解压缩性能,测试文件位于“KAE/scripts/compressTestDataset”路径下。
taskset -c 1 ./lzbench -relz4 -b8 -i1 -j -m1024 /pathtoKAE/scripts/compressTestDataset/
显示结果如下。
lzbench 1.8 (64-bit Linux) (null) Assembled by P.Skibinski Compressor name Compress. Decompress. Orig. size Compr. size Ratio Filename memcpy 26722 MB/s 27211 MB/s 102760022 102760022 100.00 8 files lz4 1.9.4 472 MB/s 2900 MB/s 102760022 61462487 59.81 8 files done... (cIters=1 dIters=1 cTime=1.0 dTime=2.0 chunkSize=8KB cSpeed=0MB)
- 设置环境变量LD_LIBRARY_PATH启用KAELz4加速库,查看测试工具所使用的算法库。
1 2
export LD_LIBRARY_PATH=/usr/local/kaelz4/lib:$LD_LIBRARY_PATH ldd lzbench
回显如下内容,表示使用的是KAELz4算法库。linux-vdso.so.1 (0x0000ffffac665000) libz.so.1 => /usr/lib64/libz.so.1 (0x0000ffffac5f7000) libzstd.so.1 => /usr/lib64/libzstd.so.1 (0x0000ffffac4f6000) liblz4.so.1 => /usr/local/kaelz4/lib/liblz4.so.1 (0x0000ffffac4b5000) libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000ffffac2bf000) libm.so.6 => /usr/lib64/libm.so.6 (0x0000ffffac21e000) libgcc_s.so.1 => /usr/lib64/libgcc_s.so.1 (0x0000ffffac1ed000) libc.so.6 => /usr/lib64/libc.so.6 (0x0000ffffac03e000) /lib/ld-linux-aarch64.so.1 (0x0000ffffac628000) libkaelz4.so.2.0.4 => /usr/local/kaelz4/lib/libkaelz4.so.2.0.4 (0x0000ffffac00b000) libwd.so.2 => /usr/local/lib/libwd.so.2 (0x0000ffffabfaa000) libwd_comp.so.2 => /usr/local/lib/libwd_comp.so.2 (0x0000ffffabf79000) libnuma.so.1 => /usr/lib64/libnuma.so.1 (0x0000ffffabf54000)
- 调用KAELz4库测试解压缩性能。
taskset -c 1 ./lzbench -relz4 -b8 -i1 -j -m1024 ../../../../scripts/compressTestDataset/
显示结果如下。
lzbench 1.8 (64-bit Linux) (null) Assembled by P.Skibinski Compressor name Compress. Decompress. Orig. size Compr. size Ratio Filename memcpy 26929 MB/s 26177 MB/s 102760022 102760022 100.00 8 files lz4 1.9.4 840 MB/s 3030 MB/s 102760022 58783964 57.21 8 files done... (cIters=1 dIters=1 cTime=1.0 dTime=2.0 chunkSize=8KB cSpeed=0MB)
- 进入lzbench源码路径,查看测试工具所使用的算法库。
- 测试压缩带宽。
- 设置环境变量LD_LIBRARY_PATH并启用LZ4加速库。
1export LD_LIBRARY_PATH=/usr/local/kaelz4/lib:$LD_LIBRARY_PATH
- 在“/KAE/KAELz4/test/perftest”目录下编译带宽测试工具。
1 2
cd KAE/KAELz4/test/perftest make
- 使用LZ4加速库测试压缩带宽。
1./kaelz4_perf -m 80 -b 32 -l 640000
显示结果如下。1 2 3
kaelz4 perf parameter: multi process 64, stream length: 640000(KB), block size: 32(KB), compress level: 1, compress function: 0, loop times: 1, g_threadnum: 15, core sequence: 0 ~ 63 kaelz4 compress perf result: time used: 82891615 us, speed = 7.069 GB/s
- 设置环境变量LD_LIBRARY_PATH并启用LZ4加速库。
父主题: KAELz4压缩库测试