OmniRuntime大数据套件
鲲鹏BoostKit OmniRuntime大数据套件通过插件化的形式,端到端提升数据加载、数据计算和数据交换的性能,从而提升大数据分析性能。
应用加速特性
- OmniOperator算子加速
通过Native Code(C/C++)实现大数据SQL算子来提高查询性能的特性。
- OmniStream Flink Native化
通过Native Code(C/C++)重构Flink SQL与DataStream算子逻辑,提升查询性能。
- OmniStateStore状态优化
通过对Flink进行轻量级修改,基于状态缓存和状态过滤等技术,加速Flink对RocksDB的使用效率,从而提升Flink的端到端性能。
- OmniScheduler Yarn负载调度算法
通过优化Hadoop Yarn的容量调度算法,提升集群的负载均衡性,实现资源的均衡配置和高效利用。
- OmniShield机密大数据
通过在基于硬件的TEE环境中执行计算过程对数据进行加解密,保证数据在REE侧也是安全隐私的。
- OmniMV物化视图
通过AI算法从历史SQL查询中推荐出最优物化视图,减少重复计算,提升查询性能。
- OmniAdvisor参数调优
通过AI调优算法、专家规则调优算法、算子加速算法等,实现自动参数优化和推荐,提升Spark任务端到端的参数调优。
- OmniShuffle Shuffle加速
通过内存池统一编址、数据内存语义交换以及融合Shuffle等关键特性,减少数据磁盘IO开销,提高数据分析时效性和集群资源利用率。
- OmniHBaseGSI全局二级索引优化
通过采用独立的索引表存储索引数据,加速SingleColumnValueFilter条件查询,提升查询速度。
- OmniData算子下推
通过将大数据引擎的算子下推到存储节点的服务,从而实现近数据计算,减少网络带宽占用,提升查询引擎的查询性能。