鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

相关概念

OmniRuntime特性相关词汇解释。

  • OmniVec:一种高效的堆外内存数据组织方式。它支持零副本读取数据,且没有序列化开销。
  • Omni算子:高性能算子,使用Native Code(C/C++)替换了大数据底层的物理算子,提升了计算速度。
  • In-memory Shuffle:在Shuffle过程中,将数据缓存在内存中,而不是直接写入磁盘。这样可以减少磁盘IO的开销,提高数据处理的效率。
  • OCKD进程:OmniShuffle Shuffle加速安装成功后可以通过OCKD进程启停OmniShuffle Shuffle加速。
  • RSS(Remote Shuffle Service):Shuffle服务独立部署在Spark集群外的节点,会在远端进行Shuffle。
  • ESS(External Shuffle Service):Shuffle服务同Spark集群计算节点共同部署,会在计算节点上进行Shuffle。