相关概念

Doris指令优化特性相关概念。

• Doris创表的默认压缩方式为LZ4。
• LZ4压缩存储过程是Doris将数据存储到Page中使用Bitshuffle按位重排后写入bitshuffle_page，然后Doris使用LZ4算法对bitshuffle_page中的数据进行压缩，以减少存储所需空间。这种方法不仅可以提高数据存储和查询的效率，还能减少存储成本。ZSTD压缩与LZ4压缩同理，但若要使用ZSTD压缩，需要在创建数据表的PROPERTIES中添加"compression"="zstd"。
• Bitshuffle算法核心是将输入数据分成多个小块，然后对每个小块按位重排，使相邻的位变得更加相似，从而增加数据的局部重复性，使压缩算法更容易识别和利用这些重复性，提高数据压缩效率。Bitshuffle算法是一种无损压缩算法，适用于处理大型科学数据集，如图像、视频和气象数据等。
• NEON是一种128位的SIMD扩展指令集，由ARMv7引入，在ARMv8对其功能进行了扩展（支持向量化运算），支持包括加法、乘法、比较、移位、绝对值、极大极小极值运算、保存和加载指令等运算。与C语言相比，使用Neon指令集可以获得更高的计算效率。