关键特性

OmniData算子下推

OmniData算子下推特性是一种将大数据引擎的算子下推到存储节点的服务,从而实现近数据计算,减少网络带宽占用,提升查询引擎的查询性能。该特性支持Spark组件下推Filter、Aggregation、Limit算子到存储节点CPU,支持对ORC/Parquet等主流数据类型的访问,实现近数据计算,减少无效数据在网络上的传输,提升大数据计算性能。

OmniOperator算子加速

OmniOperator算子加速特性是一种采用Native Code(C/C++)实现大数据SQL算子来提高查询性能的特性,通过列式存储和向量化执行技术,同时利用鲲鹏向量化指令,提升算子的执行效率,从而提升查询引擎的查询性能。

OmniShuffle Shuffle加速

OmniShuffle Shuffle加速特性是一个大数据引擎Spark的性能加速组件,运行在客户数据中心的大数据集群内,通过内存池统一编址、数据内存语义交换及融合Shuffle等关键特性,减少数据磁盘I/O开销,提高数据分析的时效性和集群资源利用率。

OmniShuffle Shuffle加速作为Spark的性能加速组件,通过Spark提供的插件机制,实现Shuffle Manager和Broadcast Manager插件接口,无侵入式替换Spark的原生Shuffle和Broadcast。

OmniMV物化视图

OmniMV物化视图特性是通过AI算法从历史SQL查询中推荐出最优物化视图,并在Spark和ClickHouse中自动对用户SQL进行物化视图匹配,将匹配成功的物化视图替换用户执行计划的部分SQL,大幅减少重复计算,提升查询性能。该特性支持用户将SQL任务提交给Spark集群或者ClickHouse集群,集群管理节点进行任务分配,分发多个子任务到对应的多个计算节点执行。

OmniAdvisor参数调优

OmniAdvisor参数调优特性首先对历史的Spark、Hive SQL任务进行参数解析,然后利用AI算法智能化的对任务进行参数采样调优,最终对该任务实现端到端在线参数调优。

OmniHBaseGSI全局二级索引

OmniHBaseGSI全局二级索引特性是使用独立的索引表存储索引数据,加速SingleColumnValueFilter条件查询。当给定的查询条件可以命中索引时,将对数据表的全表查询转换为对索引表的精确范围查询,提升查询速度。

OmniShield机密大数据

OmniShield机密大数据特性是一个大数据引擎Spark的机密计算组件,运行在客户数据中心的TEE环境内,通过在基于硬件的TEE环境中执行计算过程对数据进行加解密,保证数据在REE侧也是安全隐私的。