架构介绍

大数据引擎多采用Java/Scala算子,无法充分发挥CPU的能力。同时,对于异构算力,也不适用或无法发挥硬件的计算性能优势。OmniOperator算子加速特性使用Native Code充分发挥硬件计算性能优势,尤其是异构算力的计算能力。

OmniOperator算子加速特性提供固定接口供用户分布式任务调用。支持用户将SQL任务提交给Spark集群,集群管理节点进行任务分配,分发多个子任务到对应的多个计算节点执行。

OmniOperator算子加速仅在单个任务中被用户代码调用,不涉及与其他子任务交互。OmniOperator算子加速架构如图1所示。

图1 OmniOperator算子加速特性软件架构

OmniOperator算子加速特性: