开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

OmniRuntime大数据套件

鲲鹏BoostKit OmniRuntime大数据套件通过插件化的形式,端到端提升数据加载、数据计算和数据交换的性能,从而提升大数据分析性能。

从这里开始

  • 最新动态

    介绍鲲鹏BoostKit OmniRuntime大数据套件文档的最新上线、变更动态。

应用加速特性

  • OmniOperator算子加速

    通过Native Code(C/C++)实现大数据SQL算子来提高查询性能的特性

  • OmniStream Flink Native化

    通过Native Code(C/C++)重构Flink SQL与DataStream算子逻辑,提升查询性能。

  • OmniStateStore状态优化

    通过对Flink进行轻量级修改,基于状态缓存和状态过滤等技术,加速Flink对RocksDB的使用效率,从而提升Flink的端到端性能。

  • OmniScheduler Yarn负载调度算法

    通过优化Hadoop Yarn的容量调度算法,提升集群的负载均衡性,实现资源的均衡配置和高效利用。

  • OmniShield机密大数据

    通过在基于硬件的TEE环境中执行计算过程对数据进行加解密,保证数据在REE侧也是安全隐私的。

  • OmniMV物化视图

    通过AI算法从历史SQL查询中推荐出最优物化视图,减少重复计算,提升查询性能。

  • OmniAdvisor参数调优

    通过AI调优算法、专家规则调优算法、算子加速算法等,实现自动参数优化和推荐,提升Spark任务端到端的参数调优。

  • OmniShuffle Shuffle加速

    通过内存池统一编址、数据内存语义交换以及融合Shuffle等关键特性,减少数据磁盘IO开销,提高数据分析时效性和集群资源利用率。

  • OmniHBaseGSI全局二级索引优化

    通过采用独立的索引表存储索引数据,加速SingleColumnValueFilter条件查询,提升查询速度。

  • OmniData算子下推

    通过将大数据引擎的算子下推到存储节点的服务,从而实现近数据计算,减少网络带宽占用,提升查询引擎的查询性能。

学习

  • 视频帮助

    提供操作视频,帮助开发者在鲲鹏服务器上了解、使能OmniRuntime特性。