鲲鹏社区首页
中文
注册
开发者
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

Ceph对象存储元数据缩减

概述

Ceph对象存储场景,后端为了减少数据的放大,data pool使用EC替换三副本,EC模式下元数据放大倍数为EC副本数,放大严重。通过把RGW对象自带的xattr元数据从data pool抽离,放到一个三副本的新pool中,减少元数据放大。

技术原理

图1 Ceph元数据缩减方案

将原本EC模式放置的元数据meta信息修改成通过三副本模式放置方式,降低meta元数据写放大。Ceph rgw对象元数据信息实现全部可以存放在NVME SSD盘中,不会溢出到HDD盘中,避免出现由于元数据溢出导致的性能下降。

预期效果

相比元数据抽离前方案,同等数据量下meta(不包含omap部分)减少15%。对象大小为100K,在100亿对象极限情况下,读写性能相比1亿条对象,下降不超过50%。