Ceph配置调优

目的

调整Ceph配置选项，充分发挥系统硬件性能。

方法

所有的Ceph配置参数都是通过修改“/etc/ceph/ceph.conf”实现的。

例如要修改默认副本数为4，则在“/etc/ceph/ceph.conf”文件中添加“osd_pool_default_size = 4”这一行字段，然后执行systemctl restart ceph.target重启Ceph守护进程使之生效。

以上操作只是对当前Ceph节点生效，需要修改所有Ceph节点的“ceph.conf”文件并重启Ceph守护进程才对整个Ceph集群生效。

具体优化项详见表1。

表1 Ceph参数配置

参数名称

参数含义

优化建议

[global]

osd_pool_default_min_size

PG处于degraded状态不影响其IO能力，min_size是一个PG能接受IO的最小副本数。

默认值：0

修改建议：1

cluster_network

配置一层不同于public network的网段，用于OSD间副本复制/数据均衡，缓解public network网络压力。

默认值：/

修改建议：192.168.4.0/24

mon_max_pg_per_osd

阈值项：集群允许的每个OSD的PG最大数量。

默认值：250

修改建议：3000

mon_max_pool_pg_num

阈值项：集群允许的每个pool的PG最大数量。

默认值：65536

修改建议：300000

throttler_perf_counter

默认开启，可以观察阈值是否达到瓶颈。性能调节到最佳后，建议关闭，tracker影响性能。

默认值：True

修改建议：False

ms_dispatch_throttle_bytes

等待调度的最大消息数，建议调大，提高消息处理效率。

默认值：104857600

修改建议：2097152000

ms_bind_before_connect

消息队列绑定，保证多网口流量均衡。

默认值：False

修改建议：True

bluefs_buffered_io

在bdev io流程中是否经过内核缓冲区高速缓存。

默认值：True

修改建议：False

[client]

rbd_op_threads

RBD 客户端worker线程池的数量。

默认值：1

修改建议：4

[osd]

bluestore_cache_size_ssd

针对SSD设备，配置的bluestore的cache大小。

默认值：3G

修改建议：6G

bluestore_cache_meta_ratio

bluestore的cache中元数据大小的占比。

默认值：0.4

修改建议：0.49

bluestore_cache_kv_ratio

bluestore的cache中kv数据库大小的占比。

默认值：0.4

修改建议：0.49

bluestore_rocksdb_options

rocksdb配置参数。

默认值：

           
                compression=kNoCompression,max_write_buffer_number=4,min_write_buffer_number_to_merge=1,recycle_log_file_num=4,write_buffer_size=268435456,writable_file_max_buffer_size=0,compaction_readahead_size=2097152,max_background_compactions=2

修改建议：

           
                use_direct_reads=true,use_direct_io_for_flush_and_compaction=true,compression=kNoCompression,max_write_buffer_number=128,min_write_buffer_number_to_merge=32,recycle_log_file_num=64,compaction_style=kCompactionStyleLevel,write_buffer_size=4M,target_file_size_base=4M,max_background_compactions=64,level0_file_num_compaction_trigger=64,level0_slowdown_writes_trigger=128,level0_stop_writes_trigger=256,max_bytes_for_level_base=6GB,compaction_threads=32,max_bytes_for_level_multiplier=8,flusher_threads=8,compaction_readahead_size=0

osd_min_pg_log_entries

PGLog记录条数下阈值。

默认值：3000

修改建议：10

osd_max_pg_log_entries

PGLog记录条数上阈值。

默认值：3000

修改建议：10

osd_memory_target

bluestore中cache的内存阈值。

默认值：4G

修改建议：10G

父主题： Ceph调优