Key Features

OmniOperator算子加速
大数据主流引擎以Java/Scala高级编程语言为主,受到语义限制,无法完全发挥CPU算力,性能也较弱于Native Code。且大数据现有引擎以行式内存数据结构进行计算,无法充分利用芯片的向量化指令。OmniOperator算子加速特性,实现算子的Native化加速,以列式内存数据格式OmniVec进行内存计算,利用鲲鹏加速库,提升算子执行效率,优化SQL计算性能,从而提升查询引擎的查询性能。
关键技术
列式存储数据格式、Native化加速、调用鲲鹏指令提升算子执行效率
应用场景
大数据离线分析场景
适用范围
Spark 3.1.1、 Spark 3.3.1、Spark 3.4.3、Spark 3.5.2、Hive 3.1.0

Open-Source Projects

OmniOperator
Columnar ComputingInstruction Acceleration
Implement batch processing operators in C++ using the columnar in-memory format OmniVec.
6 57 22
OmniStream
Columnar ComputingInstruction Acceleration
Implement streaming operators in C++ using the columnar in-memory format OmniVec.
8 35 31
OmniStateStore
State Read/Write AccelerationState Recovery Acceleration
High-performance Flink state storage engine.
6 15 25