鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

架构介绍

介绍OmniStream Flink Native化特性架构。

SQL

OmniStream Flink Native化特性通过采用Native Code(C/C++)实现Flink SQL算子来提高查询性能,主要分为Java实现的Java Adaptor适配层和C++实现的CPP Core核心层。Java Adaptor适配层主要用于生成Native的执行计划和不支持的场景回退Java Runtime。CPP Core核心层主要是实现各算子逻辑及数据传输等。

OmniStream Flink SQL Native化架构如图1所示。

图1 OmniStream Flink SQL Native化整体架构设计

SQL/Table API输入后经过解析会生成执行计划,Java适配层获取该执行计划并初始化CPP侧相关Task,生成对应的算子链。初始化结束后,运行Task,从Source源读取数据,经过一系列算子处理后最终由Sink输出。

DataStream

OmniStream Flink DataStream Native化架构如图2所示。

图2 OmniStream Flink DataStream Native化整体架构设计

DataStream API输入后经过解析会生成执行计划,Java适配层获取该执行计划并初始化CPP侧相关Task,生成对应的算子链。初始化结束后,运行Task,从Source源读取数据,经过一系列算子处理后最终由Sink输出。