开发者
资源
学习心得——鲲鹏 BoostKit 分布式存储使能套件概述
学习心得——鲲鹏 BoostKit 分布式存储使能套件概述
发表于2025/11/17
1010

   鲲鹏 BoostKit 分布式存储使能套件是华为基于鲲鹏硬件平台推出的全栈分布式存储优化方案,面向 Ceph 等主流分布式存储系统,通过软硬件深度协同,聚焦性能提升与成本降低两大核心诉求。

一、产品定位与核心价值

       1、定位:鲲鹏原生的分布式存储性能加速引擎,软硬协同优化 Ceph 等开源存储,解决传统架构性能瓶颈与成本痛点。

       2、核心价值:

       (1)性能跃升:IOPS 提升最高10 倍,时延降低90%,业务性能整体提升20%-50%。

       (2)成本优化:同等容量下数据存储量提升25%+,EC Turbo 在纠删码模式下降低50%存储成本。

       (3)软硬融合:深度适配鲲鹏处理器与存储硬件,释放鲲鹏平台算力潜能。

二、技术架构

   鲲鹏 BoostKit 分布式存储采用 “硬件底座+软件优化” 的融合架构,实现端到端性能提升。

层次关键组件功能描述
硬件层鲲鹏 920 处理器、鲲融加速芯片 (KAE)、ES3000 SSD、1822 网卡提供强劲算力与硬件加速能力
系统层鲲鹏 BoostKit 加速库 (KSAL)、存储维护工具 (KSML)、SPDK 用户态驱动硬件能力抽象与底层 IO 优化
应用加速层IO 直通、EC Turbo、智能缓存 (Ucache/SmartWriteCache)、压缩算法、RDMA 网络加速、元数据加速面向 Ceph 的全链路性能优化
应用层块存储、文件存储、对象存储服务提供统一的高性能存储接口

       核心架构特点:

  • 去中心化:基于Ceph的分布式集群,借助CRUSH算法实现数据直接访问,消除中心节点瓶颈。
  • 数据亲和性:优化数据分布与访问路径,减少跨节点数据迁移,提升本地访问命中率。
  • 弹性扩展:支持大规模集群线性扩展,新增节点自动完成数据重均衡。

三、核心特性详解

      1、性能加速类特性

  • IO 直通:自动优化Ceph均衡型场景数据路径,减少内核上下文切换与不必要的缓存刷新,性能提升15%+。
  • SPDK IO 加速:在Bluestore层启用用户态驱动访问NVMe,4K随机写时延缩短30%。
  • 元数据加速:基于RocksDB优化,混合读写性能提升30%+,适用于海量KV 数据场景。

      2、智能缓存类特性

  • Ucache智能读缓存:精准识别热点,通过DAS数据引擎分析IO模式并预取,读性能提升 100%。
  • 智能写Cache:通过IO直通与QoS控制,块存储随机写IOPS提升20%+。
  • 全局缓存 (GlobalCache):重构存储数据流,实现IOPS提升10倍、时延降低90%,让HDD接近SSD性能。

      3、数据缩减类特性

  • 压缩算法:自研压缩比开源LZ4提升25%,同等容量多存25%数据。
  • EC Turbo:优化Ceph纠删码流程,性能提升30%+,成本降低50%,接近副本模式性能。
  • 数据压紧:消除补零对齐浪费,进一步提升压缩率20%+,且不影响系统性能。

      4、网络加速类特性

  • RDMA 网络加速:在Ceph中集成UCX框架,实现全RDMA化,1ms内集群性能提升10%,支持零拷贝,提升大块写效率。

四、应用场景

  1. 高性能交易系统(金融核心业务):全闪存配置,IOPS提升21%、时延下降40%,支撑高频交易与实时分析。
  2. 大数据分析平台:均衡型配置(SSD+HDD),通过EC Turbo与智能缓存,在降低50%存储成本的同时保持高吞吐。
  3. AI 训练基础设施:BoostIO构建多级分布式缓存,AI大模型CheckPoint与数据集加载大块读写性能提升300%+。
  4. 海量数据存储(医疗影像、视频监控):冷存储配置结合压缩与EC Turbo,容量提升25%+,适合非活跃数据的低成本长期保存。
  5. 云原生环境:适配主流云管平台,提供弹性块存储、文件共享与对象存储服务,支持混合部署,保护现有投资。

五、性能优势(关键数据)

  1. IO 性能:IOPS 最高提升10倍,随机读写性能提升20%-100%。
  2. 时延优化:访问延迟降低90%,4K随机写时延缩短30%。
  3. 存储效率:压缩率提升25%,数据存储量增加25%+;EC模式下存储成本降低50%。
  4. 系统整体:相比业界主流服务器,业务性能提升20%,集群规模越大优势越明显。

六、生态与兼容性

  1. 深度集成 openEuler:加速特性与openEuler深度集成,开箱即用。
  2. 广泛兼容:支持CentOS、Ubuntu等多种Linux发行版;兼容主流虚拟化平台与云管理系统。
  3. 存储生态:适配Ceph等开源分布式存储及杉岩MOS、深信服EDS等商业存储系统,提供多样化选择。

七、总结

   鲲鹏BoostKit分布式存储使能套件通过软硬件协同创新,显著突破传统分布式存储的性能上限并优化成本结构,是面向鲲鹏原生的分布式存储加速引擎。其核心价值在于:

  1. 性能革命:IOPS 提升10 倍、时延降低90%,让 HDD “接近 SSD 性能”。
  2. 成本颠覆:同等容量多存25%数据,纠删码模式下存储成本降低50%。
  3. 生态开放:兼容主流操作系统与存储软件,保护投资,助力企业数字化转型。

收藏举报
Level 1
0
帖子
0
粉丝
0
获赞