特性描述

大数据OmniRuntime通过插件化的形式，端到端提升数据加载、数据计算和数据交换的性能，从而提升大数据分析性能。

随着互联网的发展，数据规模出现了爆炸式的增长，需要处理的数据量越来越大，CPU算力的增长远远滞后于数据的增长。大数据开源生态也越来越丰富，但多样化的计算引擎和开源组件也同时带来了全生命周期数据处理性能提升难的问题。不同的大数据引擎采用各自独特的优化策略和技术来提高性能和效率，但有些优化项会在多个引擎中重复应用，可能存在差异或冲突，导致计算性能下降。此外，重复应用相同的优化项可能导致资源竞争和冲突，降低整体计算性能。

大数据OmniRuntime是鲲鹏BoostKit大数据面向应用加速推出的一系列特性，通过插件化的形式，端到端提升数据加载、数据计算和数据交换的性能，从而提升大数据分析的性能。

OmniAdvisor参数调优为OmniRuntime的特性之一。

• 1.0：首先对历史的Spark、Hive SQL任务进行参数解析，然后利用AI算法智能化地对任务进行参数采样调优，最终对该任务实现端到端在线参数调优。
  已适配的开源组件及版本有：

  • Spark 3.1.1
  • Spark 3.3.1
  • Hive 3.1.0
  • Tez 0.10.0
• 2.0：针对spark-submit提交的任务，OmniAdvisor参数调优2.0特性通过AI迭代调优、专家规则调优、迁移泛化调优以及算子加速，对任务进行参数采样和优化配置推荐，从而实现对Spark任务端到端的参数调优。

  已适配的开源组件及版本有：Spark 3.3.1