应用场景
OmniData算子下推
OmniData算子下推特性适用于大量计算节点读取远端节点数据的大数据存算分离场景或大规模融合场景。这类场景下,大量原始数据从存储节点通过网络传输到计算节点进行处理,有效数据占比低,极大浪费网络带宽,导致出现网络瓶颈。
OmniOperator算子加速
OmniOperator算子加速特性适用于数据分析引擎,用户输入SQL在引擎执行时会转为一系列的算子,OmniOperator算子加速特性提供Native算子,分析引擎可以使用Native算子来替换分析引擎的原生算子,从而加速分析引擎的执行,提升分析性能。
OmniData算子下推叠加OmniOperator算子加速特性
将OmniData算子下推和OmniOperator算子加速两个特性进行适配,达到叠加效果,带来更多的性能收益。
OmniShuffle Shuffle加速叠加OmniOperator算子加速特性
使用OmniOperator算子加速后Shuffle仍然写在磁盘上,进行Shuffle密集型的作业时,在Map过程完成后,仍然需要进行大量数据的跨节点交换,仍然存在瓶颈,叠加OmniShuffle Shuffle加速后,可以达到叠加效果,带来更多的性能收益。
父主题: 特性描述