应用场景

在应用特性前，请先了解OmniShuffle Shuffle加速特性的应用场景。

使用OmniOperator后Shuffle仍然写在磁盘上，进行Shuffle密集型的作业时，在Map过程完成后，仍然需要进行大量数据的跨节点交换，仍然存在瓶颈，叠加OmniShuffle Shuffle加速后，可以达到叠加效果，带来更多的性能收益。适用于Shuffle密集作业场景。

大数据场景中，使用大数据引擎Spark进行Shuffle密集型的作业，在Map过程完成后，需要进行大量数据的跨节点交换。统计数据显示，在很多分析场景中，Spark的Shuffle过程占据了最多的时间和资源开销，比如有些可以占到Spark业务端到端时间开销的50%~80%。

大数据OmniShuffle Shuffle加速作为Spark的性能加速组件，通过Spark提供的插件机制，实现Shuffle Manager和Broadcast Manager插件接口，无侵入式替换Spark的原生Shuffle和Broadcast。大数据OmniShuffle Shuffle加速通过实现Shuffle Manager插件接口使能In-memory Shuffle，即在内存池中通过内存语义完成Shuffle过程，减少Shuffle数据落盘，降低数据落盘读取、序列化和反序列化、压缩和解压缩带来的时间开销和算力开销；通过实现Broadcast Manager接口使能基于内存池共享的方式进行变量广播，提升广播变量在各个Executor之间的共享传输效率。同时，大数据OmniShuffle Shuffle加速支持RDMA（Remote Direct Memory Access）和TCP两种网络模式。相比TCP，RDMA可提高传输效率，降低对算力的要求，实现节点间数据的高效交换。

同时，OCK BoostTuning for Spark SQL通过基于历史记录的实时调整方式实现Spark SQL作业的并行度自动调整，消除用户针对并行度的调优工作量，同时消除90%以上Shuffle Reduce侧Spill，从而实现缩短作业运行时间，提高大数据集群作业吞吐量。