简介
鲲鹏KZstar压缩库,简称KZstar,是基于开源ZSTD压缩库提供的鲲鹏平台优化的解压缩软优化性能提升库。本文档提供了KZstar的安装指南、详细接口定义与使用示例,旨在帮助用户快速熟悉KZstar的使用。
Zstandard,即ZSTD压缩库,是一款开源的快速无损压缩算法,基于C语言开发,旨在提供zlib库对应级别的压缩解压速度和更高的压缩比。通过使用NEON指令、内联汇编、代码结构调整、内存预取、指令流水线排布优化等方法,引入zstar软优化库,实现ZSTD块压缩在鲲鹏计算平台的压缩和解压性能提升。当前KZstar仅支持块压缩解压算法,并且只支持level1-4等级的压缩,其他等级会按levle5进行处理。
在KZstar库中,块压缩主要对应ZSTD_compress()和ZSTD_decompress()等一些相关的API接口。

- KZstar当前仅支持块压缩部分接口,针对具体的业务使用场景,请自行检验可行性。
- KZstar并发优化是基于拆分压缩包,进行并发处理从而提高性能;但是拆包方式可能会导致压缩比指标的劣化,并且劣化程度和数据集相关。因此,对于对压缩比要求较高或数据集不适合并发处理的业务场景,不建议开启并发功能。