鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

Metric指标

OmniStateStore支持对接Flink Metric框架,并提供一系列Metric指标,用于在任务运行过程中监测OmniStateStore的内存占用、缓存命中率等内部运行状态信息,为OmniStateStore在Flink场景下的性能调优与运行状态分析提供了Metric指标参考。

用户可以通过Flink WebUI上任务运行时的Metric界面添加并查看这些指标,便于实时了解和分析OmniStateStore的运行表现。

  • 采集Metric数据会产生额外的性能开销,可能对任务的运行性能造成影响,建议仅在任务测试阶段或对性能要求不高的任务中开启Metric功能。
  • 所有数据量相关指标的单位为字节,所有耗时相关指标的单位为秒。

MemoryManager模块

表1 Metric指标参考

Metric指标项

说明

ockdb_memory_used_fresh

FreshTable类型的内存使用量

ockdb_memory_used_slice

SliceTable类型的内存使用量

ockdb_memory_used_file

LSMStore类型的内存使用量

ockdb_memory_used_snapshot

Snapshot类型的内存使用量

ockdb_memory_used_borrow_heap

BorrowHeap类型的内存使用量

ockdb_memory_used_db

单个TaskSlot的托管内存使用总量

ockdb_memory_max_fresh

FreshTable类型的内存分配总量

ockdb_memory_max_slice

SliceTable类型的内存分配总量

ockdb_memory_max_file

LSMStore类型的内存分配总量

ockdb_memory_max_snapshot

Snapshot类型的内存分配总量

ockdb_memory_max_borrow_heap

BorrowHeap类型的内存分配总量

ockdb_memory_max_db

单个TaskSlot的托管内存分配总量

FreshTable模块

表2 Metric指标参考

Metric指标项

说明

ockdb_fresh_hit_count

FreshTable访问命中次数

ockdb_fresh_miss_count

FreshTable访问未命中次数

ockdb_fresh_record_count

FreshTable访问总记录次数

ockdb_fresh_flushing_record_count

FreshTable正在淘汰的KV记录数

ockdb_fresh_flushing_segment_count

FreshTable正在淘汰的Segment数量

ockdb_fresh_flushed_record_count

FreshTable已淘汰的KV记录数

ockdb_fresh_flushed_segment_count

FreshTable已淘汰的Segment数量

ockdb_fresh_segment_create_fail_count

FreshTable创建Segment时内存不足导致失败的次数

ockdb_fresh_flush_count

FreshTable淘汰数据到SliceTable的总次数

ockdb_fresh_binary_key_size

FreshTable中当前所有Key的总大小

ockdb_fresh_binary_value_size

FreshTable中当前所有Value的总大小

ockdb_fresh_binary_map_node_size

FreshTable中当前所有MapNode的总大小

ockdb_fresh_wasted_size

FreshTable的Segment淘汰到SliceTable时,Segment空闲空间累积总大小

SliceTable模块

表3 Metric指标参考

Metric指标项

说明

ockdb_slice_hit_count

SliceTable访问命中次数

ockdb_slice_miss_count

SliceTable访问未命中次数

ockdb_slice_read_count

SliceTable访问总记录次数

ockdb_slice_read_avg_size

请求访问时平均遍历SliceTable中Slice链的长度

ockdb_slice_evict_waiting_count

待淘汰的Slice数量

ockdb_slice_compaction_count

SliceTable已完成的Compaction任务数

ockdb_slice_compaction_slice_count

SliceTable完成Compaction的Slice总数量

ockdb_slice_compaction_avg_slice_count

SliceTable每次Compaction任务平均处理的Slice数量

ockdb_slice_chain_avg_size

SliceChain的平均长度

ockdb_slice_avg_size

单个Slice的平均大小

FileCache模块

表4 Metric指标参考

Metric指标项

说明

ockdb_index_block_hit_count

IndexBlock在BlockCache中的访问命中次数

ockdb_index_block_hit_size

IndexBlock在BlockCache访问命中的数据量大小

ockdb_index_block_miss_count

IndexBlock在BlockCache访问未命中次数

ockdb_index_block_miss_size

IndexBlock在BlockCache访问未命中的数据量大小

ockdb_index_block_cache_count

IndexBlock在BlockCache中的缓存个数

ockdb_index_block_cache_size

IndexBlock在BlockCache中的缓存大小

ockdb_data_block_hit_count

DataBlock在BlockCache访问命中次数

ockdb_data_block_hit_size

DataBlock在BlockCache访问命中数据量大小

ockdb_data_block_miss_count

DataBlock在BlockCache访问未命中次数

ockdb_data_block_miss_size

DataBlock在BlockCache访问未命中数据量大小

ockdb_data_block_cache_count

DataBlock在BlockCache中的缓存个数

ockdb_data_block_cache_size

DataBlock在BlockCache中的缓存大小

ockdb_filter_hit_count

FilterBlock在BlockCache访问命中次数

ockdb_filter_hit_size

FilterBlock在BlockCache访问命中的数据量大小

ockdb_filter_miss_count

FilterBlock在BlockCache访问未命中次数

ockdb_filter_miss_size

FilterBlock在BlockCache访问未命中的数据量大小

ockdb_filter_cache_count

FilterBlock在BlockCache中的缓存个数

ockdb_filter_cache_size

FilterBlock在BlockCache中的缓存大小

ockdb_filter_success_count

FilterBlock对Key过滤结果为不存在的次数

ockdb_filter_exist_success_count

FilterBlock对Key过滤结果为存在且实际存在的次数

ockdb_filter_exist_fail_count

FilterBlock对Key过滤结果为存在且实际不存在的次数

FileStore模块

表5 Metric指标参考

Metric指标项

说明

ockdb_lsm_flush_count

LSMStore模块Flush到磁盘的文件总数

ockdb_lsm_flush_size

LSMStore模块Flush到磁盘的文件数据量总大小

ockdb_lsm_compaction_count

LSMStore完成的Compaction任务总次数

ockdb_lsm_hit_count

LSMStore访问命中次数

ockdb_lsm_miss_count

LSMStore访问未命中次数

ockdb_level0_hit_count

LSMStore的Level0层文件访问命中次数

ockdb_level0_miss_count

LSMStore的Level0层文件访问未命中次数

ockdb_level1_hit_count

LSMStore的Level1层文件访问命中次数

ockdb_level1_miss_count

LSMStore的Level1层文件访问未命中次数

ockdb_level2_hit_count

LSMStore的Level2层文件访问命中次数

ockdb_level2_miss_count

LSMStore的Level2层文件访问未命中次数

ockdb_above_level2_hit_count

LSMStore的Level3及以上层文件访问命中次数

ockdb_above_level2_miss_count

LSMStore的Level3及以上层文件访问未命中次数

ockdb_level0_file_size

LSMStore的Level0层文件数据量总大小

ockdb_level1_file_size

LSMStore的Level1层文件数据量总大小

ockdb_level2_file_size

LSMStore的Level2层文件数据量总大小

ockdb_level3_file_size

LSMStore的Level3层文件数据量总大小

ockdb_above_level3_file_size

LSMStore的Level4及以上层文件数据量总大小

ockdb_lsm_file_size

LSMStore所有层文件数据量总大小

ockdb_lsm_compaction_read_size

LSMStore Compaction任务执行时读取文件的总大小

ockdb_lsm_compaction_write_size

LSMStore Compaction任务执行时写入文件的总大小

ockdb_level0_compaction_rate

LSMStore的Level0层文件压缩率

ockdb_level1_compaction_rate

LSMStore的Level1层文件压缩率

ockdb_level2_compaction_rate

LSMStore的Level2层文件压缩率

ockdb_level3_compaction_rate

LSMStore的Level3层文件压缩率

ockdb_lsm_compaction_rate

LSMStore所有层文件总压缩率

ockdb_lsm_file_count

LSMStore所有层文件总数量

Snapshot模块

表6 Metric指标参考

Metric指标项

说明

ockdb_snapshot_total_time

最近一次快照任务执行总耗时

ockdb_snapshot_upload_time

最近一次快照任务上传数据耗时

ockdb_snapshot_file_count

最近一次快照任务创建的文件数量

ockdb_snapshot_file_size

最近一次快照任务创建的文件大小

ockdb_snapshot_incremental_size

最近一次快照任务创建的增量文件大小

ockdb_snapshot_slice_file_count

最近一次快照任务创建的SliceTable快照文件数量

ockdb_snapshot_slice_incremental_file_size

最近一次快照任务创建的SliceTable增量文件大小

ockdb_snapshot_slice_file_size

最近一次快照任务创建的SliceTable快照文件大小

ockdb_snapshot_sst_file_count

最近一次快照任务创建的LSMStore快照文件数量

ockdb_snapshot_sst_incremental_file_size

最近一次快照任务创建的LSMStore增量文件大小

ockdb_snapshot_sst_file_size

最近一次快照任务创建的LSMStore快照文件大小

Restore模块

表7 Metric指标参考

Metric指标项

说明

ockdb_restore_total_time

最近一次快照恢复任务总耗时

ockdb_restore_download_time

最近一次快照恢复任务下载耗时

ockdb_restore_lazy_download_time

最近一次快照恢复任务懒加载耗时