鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

应用场景

OmniOperator算子加速特性主要应用于数据分析引擎场景,通过优化执行流程,提升数据分析性能。

OmniOperator算子加速特性提供Native算子,可替代分析引擎中原有的开源算子,从而加速SQL查询的执行,提升数据分析性能。用户提交SQL后,引擎会将其转换为一系列算子,OmniOperator通过使用性能更优的Native算子替换部分开源算子,实现执行效率的提升。

OmniOperator算子加速特性适用于大规模数据融合分析场景,能够有效应对高并发、大数据量的处理需求。

OmniOperator算子加速特性已支持以下分析引擎:

  • Spark,适配框架:
    • SparkExtension,支持Spark 3.1.1、Spark 3.3.1、Spark 3.4.3、Spark 3.5.2。
    • Gluten,仅支持Spark 3.3.1,且需在支持SVE指令集的鲲鹏服务器上运行。
  • Hive,适配框架:
    • HiveExtension,支持Hive 3.1.0。