简介
在Spark引擎中应用OmniOperator算子加速特性时,可以选择在SparkExtension或Gluten中使能该特性。根据具体场景和需求,选择合适的使能方式,可最大化加速效果。
如果使用的是Spark 3.3.1,建议优先选择通过Gluten框架启用OmniOperator;如果使用的是Spark其他版本,则可以选择通过用SparkExtension框架启用OmniOperator。
如果选择通过用SparkExtension框架启用OmniOperator,需要用户安装对应的Spark以及与之匹配的SparkExtension,Spark的安装要求见操作系统和软件要求。本小节将介绍SparkExtension的安装步骤、安装后的配置方法,以及如何将OmniOperator算子加速特性应用到Spark引擎中。
父主题: 在SparkExtension上使能