在Gluten上使能
- 简介
在Spark引擎中应用OmniOperator算子加速特性时,可以选择在SparkExtension或Gluten中使能该特性。根据具体场景和需求,选择合适的使能方式,可最大化加速效果。 - 算子和表达式支持情况
介绍Spark引擎在Gluten上使用OmniOperator算子加速特性时,OmniOperator算子加速特性支持的算子、表达式及其数据类型列表。 - 安装Gluten
- 配置Spark配置文件
安装完Spark引擎后,还需在OmniOperator算子加速特性的配置文件中添加相应的Spark配置,才能正常执行业务。 - 执行Spark引擎任务
验证Gluten的生效情况,并通过测试示例展示其带来的性能优化效果,确保能够顺利执行Spark引擎任务。
父主题: 在Spark引擎上的应用