Metric指标
OmniStateStore支持对接Flink Metric框架,并提供一系列Metric指标,用于在任务运行过程中监测OmniStateStore的内存占用、缓存命中率等内部运行状态信息,为OmniStateStore在Flink场景下的性能调优与运行状态分析提供了Metric指标参考。
用户可以通过Flink WebUI上任务运行时的Metric界面添加并查看这些指标,便于实时了解和分析OmniStateStore的运行表现。
- 采集Metric数据会产生额外的性能开销,可能对任务的运行性能造成影响,建议仅在任务测试阶段或对性能要求不高的任务中开启Metric功能。
- 所有数据量相关指标的单位为字节,所有耗时相关指标的单位为秒。
MemoryManager模块
Metric指标项 |
说明 |
|---|---|
ockdb_memory_used_fresh |
FreshTable类型的内存使用量 |
ockdb_memory_used_slice |
SliceTable类型的内存使用量 |
ockdb_memory_used_file |
LSMStore类型的内存使用量 |
ockdb_memory_used_snapshot |
Snapshot类型的内存使用量 |
ockdb_memory_used_borrow_heap |
BorrowHeap类型的内存使用量 |
ockdb_memory_used_db |
单个TaskSlot的托管内存使用总量 |
ockdb_memory_max_fresh |
FreshTable类型的内存分配总量 |
ockdb_memory_max_slice |
SliceTable类型的内存分配总量 |
ockdb_memory_max_file |
LSMStore类型的内存分配总量 |
ockdb_memory_max_snapshot |
Snapshot类型的内存分配总量 |
ockdb_memory_max_borrow_heap |
BorrowHeap类型的内存分配总量 |
ockdb_memory_max_db |
单个TaskSlot的托管内存分配总量 |
FreshTable模块
Metric指标项 |
说明 |
|---|---|
ockdb_fresh_hit_count |
FreshTable访问命中次数 |
ockdb_fresh_miss_count |
FreshTable访问未命中次数 |
ockdb_fresh_record_count |
FreshTable访问总记录次数 |
ockdb_fresh_flushing_record_count |
FreshTable正在淘汰的KV记录数 |
ockdb_fresh_flushing_segment_count |
FreshTable正在淘汰的Segment数量 |
ockdb_fresh_flushed_record_count |
FreshTable已淘汰的KV记录数 |
ockdb_fresh_flushed_segment_count |
FreshTable已淘汰的Segment数量 |
ockdb_fresh_segment_create_fail_count |
FreshTable创建Segment时内存不足导致失败的次数 |
ockdb_fresh_flush_count |
FreshTable淘汰数据到SliceTable的总次数 |
ockdb_fresh_binary_key_size |
FreshTable中当前所有Key的总大小 |
ockdb_fresh_binary_value_size |
FreshTable中当前所有Value的总大小 |
ockdb_fresh_binary_map_node_size |
FreshTable中当前所有MapNode的总大小 |
ockdb_fresh_wasted_size |
FreshTable的Segment淘汰到SliceTable时,Segment空闲空间累积总大小 |
SliceTable模块
Metric指标项 |
说明 |
|---|---|
ockdb_slice_hit_count |
SliceTable访问命中次数 |
ockdb_slice_miss_count |
SliceTable访问未命中次数 |
ockdb_slice_read_count |
SliceTable访问总记录次数 |
ockdb_slice_read_avg_size |
请求访问时平均遍历SliceTable中Slice链的长度 |
ockdb_slice_evict_waiting_count |
待淘汰的Slice数量 |
ockdb_slice_compaction_count |
SliceTable已完成的Compaction任务数 |
ockdb_slice_compaction_slice_count |
SliceTable完成Compaction的Slice总数量 |
ockdb_slice_compaction_avg_slice_count |
SliceTable每次Compaction任务平均处理的Slice数量 |
ockdb_slice_chain_avg_size |
SliceChain的平均长度 |
ockdb_slice_avg_size |
单个Slice的平均大小 |
FileCache模块
Metric指标项 |
说明 |
|---|---|
ockdb_index_block_hit_count |
IndexBlock在BlockCache中的访问命中次数 |
ockdb_index_block_hit_size |
IndexBlock在BlockCache访问命中的数据量大小 |
ockdb_index_block_miss_count |
IndexBlock在BlockCache访问未命中次数 |
ockdb_index_block_miss_size |
IndexBlock在BlockCache访问未命中的数据量大小 |
ockdb_index_block_cache_count |
IndexBlock在BlockCache中的缓存个数 |
ockdb_index_block_cache_size |
IndexBlock在BlockCache中的缓存大小 |
ockdb_data_block_hit_count |
DataBlock在BlockCache访问命中次数 |
ockdb_data_block_hit_size |
DataBlock在BlockCache访问命中数据量大小 |
ockdb_data_block_miss_count |
DataBlock在BlockCache访问未命中次数 |
ockdb_data_block_miss_size |
DataBlock在BlockCache访问未命中数据量大小 |
ockdb_data_block_cache_count |
DataBlock在BlockCache中的缓存个数 |
ockdb_data_block_cache_size |
DataBlock在BlockCache中的缓存大小 |
ockdb_filter_hit_count |
FilterBlock在BlockCache访问命中次数 |
ockdb_filter_hit_size |
FilterBlock在BlockCache访问命中的数据量大小 |
ockdb_filter_miss_count |
FilterBlock在BlockCache访问未命中次数 |
ockdb_filter_miss_size |
FilterBlock在BlockCache访问未命中的数据量大小 |
ockdb_filter_cache_count |
FilterBlock在BlockCache中的缓存个数 |
ockdb_filter_cache_size |
FilterBlock在BlockCache中的缓存大小 |
ockdb_filter_success_count |
FilterBlock对Key过滤结果为不存在的次数 |
ockdb_filter_exist_success_count |
FilterBlock对Key过滤结果为存在且实际存在的次数 |
ockdb_filter_exist_fail_count |
FilterBlock对Key过滤结果为存在且实际不存在的次数 |
FileStore模块
Metric指标项 |
说明 |
|---|---|
ockdb_lsm_flush_count |
LSMStore模块Flush到磁盘的文件总数 |
ockdb_lsm_flush_size |
LSMStore模块Flush到磁盘的文件数据量总大小 |
ockdb_lsm_compaction_count |
LSMStore完成的Compaction任务总次数 |
ockdb_lsm_hit_count |
LSMStore访问命中次数 |
ockdb_lsm_miss_count |
LSMStore访问未命中次数 |
ockdb_level0_hit_count |
LSMStore的Level0层文件访问命中次数 |
ockdb_level0_miss_count |
LSMStore的Level0层文件访问未命中次数 |
ockdb_level1_hit_count |
LSMStore的Level1层文件访问命中次数 |
ockdb_level1_miss_count |
LSMStore的Level1层文件访问未命中次数 |
ockdb_level2_hit_count |
LSMStore的Level2层文件访问命中次数 |
ockdb_level2_miss_count |
LSMStore的Level2层文件访问未命中次数 |
ockdb_above_level2_hit_count |
LSMStore的Level3及以上层文件访问命中次数 |
ockdb_above_level2_miss_count |
LSMStore的Level3及以上层文件访问未命中次数 |
ockdb_level0_file_size |
LSMStore的Level0层文件数据量总大小 |
ockdb_level1_file_size |
LSMStore的Level1层文件数据量总大小 |
ockdb_level2_file_size |
LSMStore的Level2层文件数据量总大小 |
ockdb_level3_file_size |
LSMStore的Level3层文件数据量总大小 |
ockdb_above_level3_file_size |
LSMStore的Level4及以上层文件数据量总大小 |
ockdb_lsm_file_size |
LSMStore所有层文件数据量总大小 |
ockdb_lsm_compaction_read_size |
LSMStore Compaction任务执行时读取文件的总大小 |
ockdb_lsm_compaction_write_size |
LSMStore Compaction任务执行时写入文件的总大小 |
ockdb_level0_compaction_rate |
LSMStore的Level0层文件压缩率 |
ockdb_level1_compaction_rate |
LSMStore的Level1层文件压缩率 |
ockdb_level2_compaction_rate |
LSMStore的Level2层文件压缩率 |
ockdb_level3_compaction_rate |
LSMStore的Level3层文件压缩率 |
ockdb_lsm_compaction_rate |
LSMStore所有层文件总压缩率 |
ockdb_lsm_file_count |
LSMStore所有层文件总数量 |
Snapshot模块
Metric指标项 |
说明 |
|---|---|
ockdb_snapshot_total_time |
最近一次快照任务执行总耗时 |
ockdb_snapshot_upload_time |
最近一次快照任务上传数据耗时 |
ockdb_snapshot_file_count |
最近一次快照任务创建的文件数量 |
ockdb_snapshot_file_size |
最近一次快照任务创建的文件大小 |
ockdb_snapshot_incremental_size |
最近一次快照任务创建的增量文件大小 |
ockdb_snapshot_slice_file_count |
最近一次快照任务创建的SliceTable快照文件数量 |
ockdb_snapshot_slice_incremental_file_size |
最近一次快照任务创建的SliceTable增量文件大小 |
ockdb_snapshot_slice_file_size |
最近一次快照任务创建的SliceTable快照文件大小 |
ockdb_snapshot_sst_file_count |
最近一次快照任务创建的LSMStore快照文件数量 |
ockdb_snapshot_sst_incremental_file_size |
最近一次快照任务创建的LSMStore增量文件大小 |
ockdb_snapshot_sst_file_size |
最近一次快照任务创建的LSMStore快照文件大小 |
Restore模块
Metric指标项 |
说明 |
|---|---|
ockdb_restore_total_time |
最近一次快照恢复任务总耗时 |
ockdb_restore_download_time |
最近一次快照恢复任务下载耗时 |
ockdb_restore_lazy_download_time |
最近一次快照恢复任务懒加载耗时 |