--- title: 鲲鹏BoostKit分布式存储使能套件-鲲鹏社区 description: 聚焦开源Ceph存储的性能低、成本高等关键挑战，通过优化开源Ceph系统参数、使用基础加速与应用加速特性提升系统性能，降低存储成本，充分发挥鲲鹏算力优势，提供高性价比存储方案。 keywords: BoostKit,分布式存储使,能套件,鲲鹏社区,鲲鹏,分布式存储场景,Ceph,聚焦 url: https://www.hikunpeng.com/boostkit/sds section: (其他) --- # 鲲鹏BoostKit分布式存储使能套件-鲲鹏社区 URL: https://www.hikunpeng.com/boostkit/sds 描述: 聚焦开源Ceph存储的性能低、成本高等关键挑战，通过优化开源Ceph系统参数、使用基础加速与应用加速特性提升系统性能，降低存储成本，充分发挥鲲鹏算力优势，提供高性价比存储方案。 关键词: BoostKit,分布式存储使,能套件,鲲鹏社区,鲲鹏,分布式存储场景,Ceph,聚焦 鲲鹏应用使能套件BoostKit [了解详情](https://www.hikunpeng.com/zh/developer/boostkit) 鲲鹏 BoostKit 分布式存储场景 ## 鲲鹏 BoostKit 分布式存储场景 ### 聚焦Ceph性能低、成本高等挑战，提供Ceph参数优化、IO直通等特性提升系统性能，并通过压缩算法、EC Turbo等特性降低存储成本，提供高性价比存储方案。 生态建设： 适配主流开源分布式存储软件及商业存储软件，给客户提供不同的选择 应用加速： 面向开源及商业存储软件，在存储高性能及降成本等场景提供不同的加速库组件 基础加速： 与应用软件低耦合，结合鲲鹏硬件指令及自研算法提供基础加速能力 基础设施： 基于鲲鹏CPU以及部件提供高性能、均衡型以及容量型等面向不同场景存储机型 ## 基础加速软件包 存储维护工具库 KAE使能SPDK 存储算法加速库 压缩算法 存储维护工具库 KAE使能SPDK 存储算法加速库 压缩算法 ... 存储维护工具库 性能提升 5.0 存储维护工具库（KSML）是华为自研的存储维护工具库，包括HDD/SSD故障预测与HDD/SSD慢盘检测功能。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengaccel/storage/ksml/kunpengksml_36_0001.html) 历史版本下载 [了解详情](https://www.hikunpeng.com/developer/download?zhTitle=%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8&zhSubTitle=%E5%AD%98%E5%82%A8%E7%BB%B4%E6%8A%A4%E5%B7%A5%E5%85%B7%E5%BA%93&enTitle=SDS&enSubTitle=KSM) 价值优势 HDD/SSD慢盘检测，HDD/SSD故障预测。 关键技术 基于机器学习算法，通过收集SMART数据训练模型，预测与识别存储集群潜在故障盘，通过采集系统磁盘的svctm完成慢盘检测。 适用范围 HDD/SSD存储场景对故障与慢盘检测有诉求。 KAE使能SPDK 5.0 SPDK的BDEV设备作为虚拟设备层对接底层多种设备类型（虚拟设备、物理设备），通过在BDEV设备中使能压缩和加解密能够支持所有SPDK设备。 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengsdss/basicAccelFeatures/kaeebspdk/kunpengspdk_16_0005.html) 价值优势 压缩能力提升100%，加解密能力提升20%。 关键技术 通过在SPDK的BDEV设备中使能KAE硬件加速器提升BDEV设备的数据处理速度。 适用范围 压缩、加解密。 存储算法加速库 性能提升 存储算法加速库（KSAL）是华为自研的存储算法加速库，采用鲲鹏优化的算法代替主流开源算法，提升存储性能。当前包括EC算法、CRC16 T10DIF算法和CRC32C算法。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengaccel/storage/ksal/kunpengksal_16_0001.html) 历史版本下载 [了解详情](https://www.hikunpeng.com/developer/download?zhTitle=%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8&zhSubTitle=%E5%AD%98%E5%82%A8%E7%AE%97%E6%B3%95%E5%8A%A0%E9%80%9F%E5%BA%93&enTitle=SDS&enSubTitle=KSA) 价值优势 与主流开源算法相比，EC算法编码性能提升1倍以上，CRC16 T10DIF算法4K性能提升100%，CRC32C算法4K性能提升20%。 关键技术 EC算法采用向量化EC编解码方案，以低阶二元XOR操作替代传统标量编码的高阶有限域乘法，配合编码调度，复用中间计算结果减少操作数。CRC16 T10DIF算法和CRC32C算法，通过大数求余算法和配合鲲鹏向量化指令实现编码加速。 适用范围 全闪存存储场景。 压缩算法 数据缩减 4.5 BoostKit压缩算法是华为自研无损压缩算法。相对于开源压缩算法，压缩率更高，性能更好。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengaccel/storage/dataReduc/kunpengkpszip_20_0001.html) 历史版本下载 [了解详情](https://www.hikunpeng.com/developer/download?zhTitle=%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8&zhSubTitle=%E5%8E%8B%E7%BC%A9%E7%AE%97%E6%B3%95&enTitle=SDS&enSubTitle=Compression+Algorithm) 价值优势 与主流开源压缩算法相比，压缩率可提升25%，带宽性能提升10%。 关键技术 华为自研无损压缩算法。 适用范围 适用Ceph均衡型场景。 ## 应用加速软件包 元数据加速 SPDK IO加速 BoostIO RDMA网络加速 Ucache智能读缓存 IO直通 智能写Cache EC Turbo 数据压紧 元数据加速 SPDK IO加速 BoostIO RDMA网络加速 Ucache智能读缓存 IO直通 智能写Cache EC Turbo 数据压紧 ... 元数据加速 性能提升 元数据加速特性在RocksDB的基础上，结合华为自研算法进行了性能加速优化，在使能鲲鹏加速特性时可以获取更佳的性能。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/rocksdbperfopt/README.md) 历史版本下载 [了解详情](https://www.hikunpeng.com/developer/download?zhTitle=%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8&zhSubTitle=%E5%85%83%E6%95%B0%E6%8D%AE%E5%8A%A0%E9%80%9F&enTitle=SDS&enSubTitle=Metadata+Acceleration) 价值优势 较开源RocksDB，混合读写场景性能提升超过30%。 关键技术 深度融合鲲鹏架构优化读写热点、结合业务负载调整后台任务（flush,compaction）、结合数据热点优化缓存逻辑等。 适用范围 全闪存储场景，有海量key-value（KV）数据存储需求。 SPDK IO加速 性能提升 在Ceph的Bluestore层，通过使能SPDK用户态驱动访问NVMe设备，减小了IO路径时延。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/spdkioaccel/docs/zh/spdk_io_acceleration_feature_guide.md) 价值优势 较使用NVMe驱动，4k随机写时延缩短30%。 关键技术 通过在Ceph的Bluestore层使能SPDK用户态驱动，减小IO落盘时延。 BoostIO 利用计算侧的内存和磁盘资源构建分布式多级缓存，写缓存提升业务写性能，读缓存提高读缓存命中率。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/BoostIO/kunpengboostio_feature_002.html) 价值优势 AI大模型应用CheckPoint场景和数据集加载场景，大块读写提升300%+。 关键技术 写缓存通过RDMA高速通信、缓存亲和策略、副本冗余和线性布局等特性提升业务写性能，提高数据可靠性；读缓存通过数据预取提前将热点数据加载缓存磁盘中，通过LRU淘汰策略和冷热识别提高读缓存命中率，从而提升业务读性能。 适用范围 AI场景、大数据场景、文件存储缓存。 RDMA网络加速 通过在Ceph网络框架AsyncMessage中新增插件支持UCX网络框架，实现Ceph全闪存场景支持网络全RDMA化。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/rdmanwaccel/docs/zh/rdma_network_acceleration_feature_guide.md) 价值优势 通过RDMA提升网络处理速率，降低读写时延，提升1ms内集群性能10%。 关键技术 UCX通信处理层主要包含ceph与UCX接口适配，并根据RNDV协议的特点，实现了零拷贝，提升大块写的性能。 适用范围 全闪型存储。 Ucache智能读缓存 性能提升 5.0 智能读缓存通过IO智能预取精准识别热点请求并针对顺序、间隔等IO流进行IO预取，将IO提前载入读缓存，同时读缓存通过LRU算法淘汰冷数据，从而提高缓存的IO命中率，提升读性能。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/ucache/README.md) 价值优势 提高读请求IO命中率以提升读性能。热点、顺序、间隔等IO流下性能提升100%。 关键技术 DAS数据智能分析引擎对IO流进行模式识别，输出预取IO Pattern。读缓存采用高速介质提供数据缓存能力。 适用范围 混闪存储场景，对读请求有性能提升诉求。 IO直通 性能提升 IO直通工具是针对Ceph均衡型场景下的一个流程优化工具，可以自动对Ceph集群进行性能优化。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/iopasst/kunpengio_06_0001.html) 历史版本下载 [了解详情](https://www.hikunpeng.com/developer/download?zhTitle=%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8&zhSubTitle=IO%E7%9B%B4%E9%80%9A&enTitle=SDS&enSubTitle=I/O+Passthrough) 价值优势 在均衡型配置场景，使用IO直通特性可提升存储性能15%以上。 关键技术 自动对Ceph集群均衡型场景进行性能优化。 适用范围 适用Ceph均衡型场景。 智能写Cache 性能提升 智能写Cache通过IO直通、QoS控制策略、Writeback控制策略以及GC控制策略，提升Bcache场景下Ceph集群写性能。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/smartwc/kunpengswc_20_0001.html) 历史版本下载 [了解详情](https://www.hikunpeng.com/developer/download?zhTitle=%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8&zhSubTitle=%E6%99%BA%E8%83%BD%E5%86%99Cache&enTitle=SDS&enSubTitle=Smart+Write+Cache) 价值优势 块存储随机写场景，IOPS性能提升20%以上。 关键技术 智能写Cache通过QoS控制策略对前端IO流量进行控制，提升性能，同时对GC与Writeback流程进行优化，帮助快速回收cache空间。 适用范围 适用Ceph均衡型块存储随机写场景。 EC Turbo 数据缩减 4.0 鲲鹏BoostKit分布式存储EC Turbo特性是针对开源Ceph的EC流程进行优化，降低了数据读写流程中，IO放大比例，整体性能更高。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/ecturbo/docs/zh/ec_turbo_feature_guide.md) 历史版本下载 [了解详情](https://www.hikunpeng.com/developer/download?zhTitle=%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8&zhSubTitle=EC+Turbo&enTitle=SDS&enSubTitle=EC+Turbo) 价值优势 鲲鹏BoostKit分布式存储EC Turbo特性性能相对于Ceph开源EC，提升30%以上。 关键技术 精简读写；行存转列存；算子下推。 适用范围 适用Ceph均衡型场景。 数据压紧 4.0 通过消除补零对齐操作带来的数据浪费问题，结合压紧封装、空间计数分配、粒度分流、聚合提交、批量回调等手段提升数据缩减率并提升系统整体IOPS，实现成本性能双收益。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/boostsds/datacomp/docs/zh/data_compaction_feature_guide.md) 价值优势 将数据压缩率再提高20%以上，对系统性能无损失。 关键技术 鲲鹏BoostKit数据压紧通过重构元数据的数据结构和排布方式，对压缩头以及数据块进行拼装，提高数据存储效率。 适用范围 数据压缩存储场景。 ## 鲲鹏BoostKit与openEuler深度集成 ### 鲲鹏BoostKit加速特性软件包已集成到的openEuler软件所中，实现开箱即用，欢迎体验 了解详情 [了解详情](https://www.hikunpeng.com/developer/boostkit/open-euler) 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengsdss/integrwithoe/instg/kunpengsdss_04_0001.html) ## 参考实现 块存储场景 对象存储场景 文件存储场景 块存储场景 对象存储场景 文件存储场景 ... 01部署 02调优 03扩容 Ceph是一个统一的分布式存储系统，能够提供较好的性能、可靠性和可扩展性。Ceph块存储支持手动安装和使用自动化工具安装两种方式。 手动安装参考文档 Ceph块存储 部署指南 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengsdss/ecosystemEnable/Ceph/kunpengcephblock_04_0001.html) Ceph-ansible 部署指南 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengsdss/ecosystemEnable/Ceph/kunpengcephansible_04_0001.html) 分布式存储使能套件 故障案例 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengsdss/troubleshooting/trouble/kunpengsdss_09_0001.html) 自动化工具安装方式参考文档 Ceph自动部署指南 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengsdss/ecosystemEnable/Ceph/kunpengsdss_ceph_0006.html) 自动化安装工具下载 Ceph自动化安装套件 [了解详情](https://mirrors.huaweicloud.com/kunpeng/archive/kunpeng_solution/storage/Tools/) ## 体验Demo 压缩算法 压缩算法 ... 压缩算法 鲲鹏Boostkit分布式存储压缩算法，通过对原始数据进行特征识别，动态匹配最佳压缩算法模型，实现数据压缩率提升；同时还针对鲲鹏芯片进行指令级优化，实现压缩性能加速。 立即体验 [了解详情](https://www.hikunpeng.com/zh/developer/boostkit/demo/sds) 开源开放地图 BoostKit生态开源开放项目全景，助你快速找到所需资源与协作方向 了解更多 [了解详情](https://www.hikunpeng.com/boostkit/open-map?tabs=BoostSDS) ## 学习资源 【课程】鲲鹏BoostKit分布式存储场景介绍介绍鲲鹏BoostKit分布式存储基础加速特性（EC Turbo、数据压紧、智能写Cache）、应用加速特性Global Cache各自的应用场景、关键技术、使用示例和应用效果。 [了解详情](https://www.hikunpeng.com/zh/learn/courses-list/detail/1687012896272928770) 【实验】基于鲲鹏应用场景提升分布式存储IO性能本实验指导开发者基于鲲鹏服务器部署Ceph集群。 [了解详情](https://www.hikunpeng.com/learn/experiments/detail/41c9e5f7816c43d088fce19102d9ddd0) ## 获取开发支持与帮助 鲲鹏BoostKit分布式存储文档由浅入深，带您玩转鲲鹏BoostKit分布式存储场景 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengsdss/overview/kunpengsdss.html) 鲲鹏论坛（鲲鹏BoostKit分布式存储）提供鲲鹏BoostKit分布式存储场景移植调优技术讨论、优秀实践 [了解详情](https://www.hikunpeng.com/forum/forum-0187135482144798002-1.html?filterCondition=1&topicClassId=0687135482173309002)