鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

产品介绍

  • 您同意在使用鲲鹏BoostKit OmniOperator JIT时,遵守国家法律法规、社会公共道德。您不得利用鲲鹏BoostKit OmniOperator JIT从事任何违法、侵犯他人权益等扰乱社会秩序、破坏社会稳定的行为,亦不得利用鲲鹏BoostKit OmniOperator JIT从事任何危害或试图危害计算机系统及网络安全的活动。
  • 您同意华为不应对间接、附带、特殊或任何形式的惩罚性赔偿承担任何责任,也不应对任何利润、收入、数据、数据使用的损失承担任何责任。
  • 您应知悉并同意,对于使用鲲鹏BoostKit OmniOperator JIT软件包而依赖的开源及第三方软件,需要您自行下载集成,华为不对该部分的软件漏洞和安全问题承担任何责任。

当前大数据SQL类引擎中,存在大量重复性优化。为弥补差距、构建竞争力,鲲鹏大数据OmniOperator算子优化特性使用同一个底座支撑不同引擎,减少重复优化工作,充分挖掘通用、异构算力,有效推动鲲鹏生态。

大数据OmniOperator JIT特性:

  • 实现了高性能算子OmniOperator,充分利用硬件尤其是异构算力的计算能力,使用native code实现了OmniOperator算子,相对于原始的java算子和scala算子,OmniOperator算子极大地提升了计算引擎的性能。
  • 实现了数据驱动的JIT优化OmniJit,OmniJit自动识别运算符中最关键的性能代码部分,结合实时的数据特征对算子进行代码生成与优化以达到更高的性能。OmniJit与OmniOperator进行配合,对于一些核心的方法进行参数固化、循环展开以及向量化自适应执行等优化策略,提升了计算引擎的性能。
  • 实现了高效数据组织方式OmniVec,定义了一种与语言无关的列式内存格式,使用堆外内存,实现了OmniVec,它可以支持零副本读取数据,且没有序列化开销,使用者能够更高效地处理内存中的数据。