应用场景
OmniOperator算子加速特性主要应用于数据分析引擎场景,通过优化执行流程,提升数据分析性能。
OmniOperator算子加速特性提供Native算子,可替代分析引擎中原有的开源算子,从而加速SQL查询的执行,提升数据分析性能。用户提交SQL后,引擎会将其转换为一系列算子,OmniOperator通过使用性能更优的Native算子替换部分开源算子,实现执行效率的提升。
OmniOperator算子加速特性适用于大规模数据融合分析场景,能够有效应对高并发、大数据量的处理需求。
OmniOperator算子加速特性已支持以下分析引擎:
- Spark,适配框架:
- SparkExtension,支持Spark 3.1.1、Spark 3.3.1、Spark 3.4.3、Spark 3.5.2。
- Gluten,仅支持Spark 3.3.1,且需在支持SVE指令集的鲲鹏服务器上运行。
- Hive,适配框架:
- HiveExtension,支持Hive 3.1.0。
父主题: 特性介绍