OmniRuntime OmniStateStore
Apache Flink是一个开源的流处理框架,用于实时数据流的处理和分析。它能够处理无界(unbounded)和有界(bounded)的数据流,并且提供了丰富的API来支持各种复杂的流处理场景。
状态存储(state store)是Flink的重要组成部分,其主要由状态后端(state backend)来完成。随着状态(state)中数据量的增大,状态存储性能面临挑战。OmniStateStore基于Flink提供的状态存储后端插件机制,提供状态存储的加速,从而提升Flink的整体性能。
架构设计
OmniStateStore整体架构设计如图1所示,整体架构主要包括BSS-Cache和BSS-Store两部分。
- BSS-Cache:用于提供近似Hash性能的热数据访问能力,同时提供高效的数据降级策略。
- BSS-Store:基于磁盘组织的LSM树提供大容量的温数据访问能力。
部署方式
部署方式同Flink部署方式保持一致。
典型部署场景在3个docker容器内,容器配置均为8核、32GB内存,其中一个容器中部署Job Manager,另两个容器中各部署4个Task Manager。Job Manager分配8GB内存,单个Task Manager分配2个task slot、8GB内存。
父主题: 方案特性