架构介绍

介绍OmniData算子下推特性架构。

OmniData算子下推特性是一种将大数据引擎的算子下推到存储节点的服务,从而实现近数据计算,减少网络带宽占用,提升查询引擎的查询性能。该特性支持Spark组件下推Filter、Aggregation、Limit算子到存储节点CPU,支持对ORC/Parquet等主流数据类型的访问,实现近数据计算,减少无效数据在网络上的传输,提升大数据计算性能。

OmniData算子下推特性,实现对接同构加速框架HAF和分布式存储系统Ceph/HDFS,如图1所示。

图1 OmniData算子下推特性软件架构