相关概念
OmniRuntime特性相关词汇解释。
- OmniVec:一种高效的堆外内存数据组织方式。它支持零副本读取数据,且没有序列化开销。
- Omni算子:高性能算子,使用Native Code(C/C++)替换了大数据底层的物理算子,提升了计算速度。
- In-memory Shuffle:在Shuffle过程中,将数据缓存在内存中,而不是直接写入磁盘。这样可以减少磁盘IO的开销,提高数据处理的效率。
- OCKD进程:OmniShuffle Shuffle加速安装成功后可以通过OCKD进程启停OmniShuffle Shuffle加速。
- RSS(Remote Shuffle Service):Shuffle服务独立部署在Spark集群外的节点,会在远端进行Shuffle。
- REE(Rich Execution Environment):指的是远程执行环境,通常指的是在一个相对不受信任的环境中执行计算任务的情况。
- TEE(Trusted Execution Environment):指的是受信任执行环境,它提供了一种安全的硬件和软件环境,用于执行敏感计算任务。
父主题: 特性描述