更新说明

在ESS(External Shuffle Service)的基础上,新增RSS(Remote Shuffle Service)模式。RSS模式创新地采用了存算分离架构设计,确保计算节点和存储节点各尽所能,分工协作。通过对SparkShuffle写流程的重写,BoostRSS会将MAP阶段所产生的数据统一保存至RSS节点内,从而把原有的小文件和小I/O操作,聚合成高效的大文件与连续大I/O操作。能够显著提高磁盘读写的效率,减轻计算节点I/O处理压力,进一步释放其计算能力,大大提升整体MapReduce任务的执行性能。

新增特性

修改特性

删除特性