BoostKit训练营第三期，第二课 【BoostKit开源】OmniStream开源项目介

打卡第二篇 【BoostKit开源】OmniStream开源项目介绍

Apache Flink是一个开源的分布式流计算引擎，以流处理为底座,支持无界数据流的流计算及有界数据集的批处理计算。Apache flink以实时计算为核心,保持计算状态常驻,输入一条事件即处理,无需攒批，实现毫秒级延迟，广泛应用于电商、金融等实时性要求较高的大数据场景。

Streaming 流处理

Batch 批处理

Flink在互联网、金融、物流等各行各业应用广泛，承担不可或缺的重要角色，而随着业务发展，流计算引擎的性能逐渐成为瓶颈。

OmniStream是一款基于Flink流式计算的向量化Native引擎，100%兼容Apache Flink,提供更优性能.

优化为：

OmniStream的三层架构

• OmniAdapter适配层

○ 对接Flink原生Java Runtime和Native Runtime

○ 生成Native执行计划

○ 提供完整的Fall Back机制

• Native Framework层

○ Native任务的创建与调度

○ 数据分区与传输

○ Native算子的创建与调度

• Native 算子层

○ 实现Naitve算子

○ 列式数据结构&列式计算

○ Native内存状态后端

关键是算子层，对关键算子的增强开发

简单算子的流程

Source，读取数据

只有列式数据

每个算子对VectorBatch进行处理

算子层的覆盖情况

三层对应两个开源代码仓