特性介绍
- 架构介绍
OmniShuffle Shuffle加速组件特性是一个大数据引擎Spark的性能加速组件，运行在客户数据中心的大数据集群内，通过内存池统一编址、数据内存语义交换及融合Shuffle等关键特性，减少数据磁盘I/O开销，提高数据分析的时效性和集群资源利用率。OmniShuffle Shuffle加速组件支持RSS/ESS两种模式，仅在部署形式和配置上存在少许差异，可自由便捷地切换两种模式。
- 约束与限制
在特性配置前，请先了解OmniShuffle Shuffle加速组件特性的使用限制。
- 应用场景
OmniShuffle Shuffle加速组件特性支持Shuffle密集型作业场景和大数据场景，支持Spark 3.1.1、Spark 3.3.1引擎。