更新说明
OmniShuffle通过Spark的插件机制,实现了Shuffle Manager和Broadcast Manager的插件接口,以无侵入的方式替换了Spark开源版本中的Shuffle和Broadcast模块。这一替换有效减少了磁盘IO,提升了节点间数据交换的效率,从而显著优化了查询性能。
新增特性
支持NEON指令优化,主要针对关键内存读写访问操作流程进行优化。
修改特性
无
删除特性
无
父主题: V1.4.0
OmniShuffle通过Spark的插件机制,实现了Shuffle Manager和Broadcast Manager的插件接口,以无侵入的方式替换了Spark开源版本中的Shuffle和Broadcast模块。这一替换有效减少了磁盘IO,提升了节点间数据交换的效率,从而显著优化了查询性能。
支持NEON指令优化,主要针对关键内存读写访问操作流程进行优化。
无
无