特性描述

大数据OmniRuntime通过插件化的形式，端到端提升数据加载、数据计算和数据交换的性能，从而提升大数据分析性能。

随着互联网的发展，数据规模出现了爆炸式的增长，需要处理的数据量越来越大，CPU算力的增长远远滞后于数据的增长。大数据开源生态也越来越丰富，但多样化的计算引擎和开源组件也同时带来了全生命周期数据处理性能提升难的问题。不同的大数据引擎采用各自独特的优化策略和技术来提高性能和效率，但有些优化项会在多个引擎中重复应用，可能存在差异或冲突，导致计算性能下降。此外，重复应用相同的优化项可能导致资源竞争和冲突，降低整体计算性能。

大数据OmniRuntime是鲲鹏BoostKit大数据面向应用加速推出的一系列特性，通过插件化的形式，端到端提升数据加载、数据计算和数据交换的性能，从而提升大数据分析的性能。

OmniData算子下推为OmniRuntime的特性之一。该特性是将大数据引擎的算子下推到存储节点的服务，从而实现近数据计算，减少网络带宽占用，提升查询引擎的查询性能。该特性支持Spark组件下推Filter、Aggregation、Limit算子到存储节点CPU，支持对ORC/Parquet等主流数据类型的访问，实现近数据计算，减少无效数据在网络上的传输，提升大数据计算性能。

已适配的开源组件及版本有：

• Spark 3.0.0
• Spark 3.1.1
• Hive 3.1.0
• openLooKeng 1.4.1
• openLooKeng 1.6.1