OmniData算子下推特性

介绍OmniData算子下推特性架构。

OmniData算子下推特性是一种将大数据引擎的算子下推到存储节点的服务，从而实现近数据计算，减少网络带宽占用，提升查询引擎的查询性能。该特性支持Spark组件下推Filter、Aggregation、Limit算子到存储节点CPU，支持对ORC/Parquet等主流数据类型的访问，实现近数据计算，减少无效数据在网络上的传输，提升大数据计算性能。

OmniData算子下推特性，实现对接同构加速框架HAF和分布式存储系统Ceph/HDFS，如图1所示。

• OmniData算子下推 Client属于开源的部分，为不同的引擎提供相应的插件。通过HAF提供的注解和编译插件，在需要下推的函数上添加注解，HAF会自动把任务下推到卸载节点的OmniData算子下推 Server中，让用户感觉好像在本地执行一样。
• HAF Host Runtime为lib库，安装在计算节点，对外提供任务卸载的能力，把任务下推到Target Runtime。
• HAF Target Runtime为lib库，安装在存储节点（卸载节点），提供任务执行的能力，用来执行OmniData算子下推 Server的作业。
• OmniData算子下推 Server提供算子下推（算子卸载）的执行能力，接收Host Runtime下推下来的任务。