简介

简要介绍

5G与AI等新兴技术的发展，加速了数据的产生和流动。根据华为全球产业展望GIV（Global Industry Vision）报告的数据，到2025年全球数据量可达到180ZB。多样性业务正带来数据前所未有的增长，数据也变得越来越重要。随着数据量增多，应用对于存储系统的性能要求不断提高。面对新兴应用越来越高的性能诉求，如何不断提高存储系统性能以满足业务需求，成为一大挑战。

KSAL（Kunpeng Storage Acceleration Library）是华为自研的存储算法加速库，当前包括EC（Erasure Code）算法、CRC16 T10DIF（Cyclic Redundancy Check 16 T10 Data Integrity Field）算法、CRC32C（Cyclic Redundancy Check 32 Castagnoli）算法、memcpy优化算法、DAS（Data Analysis Service）智能预取算法和Ceph百亿对象存储元数据zstd压缩算法。本文主要介绍了KSAL软件的获取、安装、部署、验证、使用以及在Ceph上使能KSAL EC算法的方法。

• EC算法基于华为自研向量化EC编解码方案，通过同构映射将EC编码过程中所需的高阶有限域GF(2^w)乘法操作替换为二元矩阵乘法，进而将查表实现的复杂有限域乘法操作替代为XOR（Exclusive OR）操作，同时采用编码编排算法在校验块计算过程中对中间结果进行复用，减少XOR操作数，配合鲲鹏向量化指令实现编码加速。相比开源EC算法，KSAL EC算法性能更好。与主流开源EC算法相比，编码性能提升1倍以上。
• CRC16 T10DIF算法和CRC32C算法，通过大数求余算法和配合鲲鹏向量化指令实现编码加速，相比开源算法，CRC16 T10DIF算法4K性能提升130%，CRC32C算法4K性能提升30%。
• memcpy算法，通过CPU预取和鲲鹏向量化指令加速，相比于glibc内置的memcpy算法，4K性能提升30%。
• DAS智能预取算法分析IO信息，提前预取数据至读缓存中，4K顺序流读性能提升100%。
• Ceph百亿对象存储元数据zstd压缩算法，通过使能Ceph RocksDB元数据缩减，实现百亿对象规模下，性能影响小于50%。