鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

简介

在Spark引擎中应用OmniOperator算子加速特性时,可以选择在SparkExtension或Gluten中使能该特性。根据具体场景和需求,选择合适的使能方式,可最大化加速效果。

如果使用的是Spark 3.3.1,建议优先选择通过Gluten框架启用OmniOperator;如果使用的是Spark其他版本,则可以选择通过用SparkExtension框架启用OmniOperator。

如果选择通过用SparkExtension框架启用OmniOperator,需要用户安装对应的Spark以及与之匹配的SparkExtension,Spark的安装要求见操作系统和软件要求。本小节将介绍SparkExtension的安装步骤、安装后的配置方法,以及如何将OmniOperator算子加速特性应用到Spark引擎中。