鲲鹏BoostKit大数据OmniRuntime OmniOperator算子加速特性使用一个底座支撑不同引擎(例如Spark),减少重复优化工作,充分挖掘通用、异构算力,有效推动鲲鹏生态。
新增特性
- 完成执行计划优化,新增DeduplicateRightSideOfLeftSemiJoin、RewriteSelfJoinInInPredicate和MergeSubqueryFilters三个Rule。
- 新增对NullType数据类型的支持。
- 新增SubqueryBroadcastExec、CoalesceExecTransformer和Limit Omni算子。
- 完成算子功能优化,主要包含HashAggregator RollUp优化、TableScan算子Parquet格式数据读取优化、Sort算子支持Radix Sort、ORC/Parquet数据格式支持partition字段为中文或中文特殊字符等。
- 完成表达式优化,主要包含新增instr/startswith/endswith函数、支持String类型和int/long类型的相互转换、decimal数据处理优化和String类型表达式优化。
- 在Kerberos安全集群下,OmniOperator算子加速支持Spark local模式和Yarn模式,且支持Native方式的ORC/Parquet数据读取。
- Window和HashAggregator算子支持Spill功能。
- 支持NEON指令优化,主要包含HashJoin、Sort和Aggregator算子。