鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

相关概念

  • In-memory Shuffle:在Shuffle过程中,将数据缓存在内存中,而不是直接写入磁盘。这样可以减少磁盘IO的开销,提高数据处理的效率。
  • OCKD进程:OmniShuffle Shuffle加速安装成功后可以通过OCKD进程启停OmniShuffle Shuffle加速。
  • RSS(Remote Shuffle Service):Shuffle服务独立部署在Spark集群外的节点,会在远端进行Shuffle。