鲲鹏BoostKit大数据OmniRuntime OmniOperator算子加速特性使用一个底座支撑不同引擎(例如Spark),减少重复优化工作,充分挖掘通用、异构算力,有效推动鲲鹏生态。
新增特性
- OmniOperator算子加速内存优化,支持大宽表查询,主要包含Aggregate state内存使用优化、HashAggregator序列化内存使用优化、统一Aggregator和Operator的内存分配、HashAggregator Spill功能排序优化等。
- 新增支持not表达式、支持Spark inset场景下的AnsiCast表达式。
- 新增对Hive引擎的支持,Hive Extension执行TPC-DS 99条SQL无异常,向量化开启时对ORC格式的性能比Hive原生提升20%。
- Hive Extension新增了对Filter、Select、GroupBy、MapJoin、MergeJoin、PTF、Sort、TableScan等算子的支持。
- Hive Extension对ORC文件支持安全集群。