关键特性
OmniOperator算子加速
OmniOperator算子加速特性是一种采用Native Code(C/C++)实现大数据SQL算子来提高查询性能的特性,通过列式存储和向量化执行技术,同时利用鲲鹏向量化指令,提升算子的执行效率,从而提升查询引擎的查询性能。
OmniShuffle Shuffle加速
OmniShuffle Shuffle加速特性是一个大数据引擎Spark的性能加速组件,运行在客户数据中心的大数据集群内,通过内存池统一编址、数据内存语义交换及融合Shuffle等关键特性,减少数据磁盘I/O开销,提高数据分析的时效性和集群资源利用率。OmniShuffle Shuffle加速支持RSS/ESS两种模式,仅在部署形式和配置上存在少许差异,可自由便捷地切换两种模式。
OmniShuffle Shuffle加速作为Spark的性能加速组件,通过Spark提供的插件机制,实现Shuffle Manager和Broadcast Manager插件接口,无侵入式替换Spark的原生Shuffle和Broadcast。
OmniAdvisor参数调优
OmniAdvisor参数调优基于AI算法训练Spark/Hive引擎最优配置参数,提升Spark/Hive引擎运行效率。
父主题: 特性描述