相关概念

OmniShuffle Shuffle加速组件特性相关词汇解释。

• In-memory Shuffle：在Shuffle过程中，将数据缓存在内存中，而不是直接写入磁盘。这样可以减少磁盘IO的开销，提高数据处理的效率。
• OCKD进程：OmniShuffle Shuffle加速组件安装成功后可以通过OCKD进程启停OmniShuffle Shuffle加速组件。
• RSS（Remote Shuffle Service）：Shuffle服务独立部署在Spark集群外的节点，会在远端节点上进行Shuffle。
• ESS（External Shuffle Service）：Shuffle服务同Spark集群计算节点共同部署，会在计算节点上进行Shuffle。