简介
在Spark引擎中应用OmniOperator算子加速特性时,可以选择在SparkExtension或Gluten中使能该特性。根据具体场景和需求,选择合适的使能方式,可最大化加速效果。
如果使用的是Spark 3.3.1,建议优先选择通过Gluten框架启用OmniOperator;如果使用的是Spark其他版本,则可以选择通过用SparkExtension框架启用OmniOperator。
如果选择通过用Gluten框架启用OmniOperator,需要用户安装Spark 3.3.1和Gluten 1.3,Spark的安装要求请参见操作系统和软件要求,本小节将介绍Gluten的安装步骤、安装后的配置方法,以及如何将OmniOperator算子加速特性应用到Spark引擎中。
父主题: 在Gluten上使能