鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

更新说明

在ESS(External Shuffle Service)的基础上,新增RSS(Remote Shuffle Service)模式。RSS模式创新地采用了存算分离架构设计,确保计算节点和存储节点各尽所能,分工协作。通过对SparkShuffle写流程的重写,BoostRSS会将MAP阶段所产生的数据统一保存至RSS节点内,从而把原有的小文件和小I/O操作,聚合成高效的大文件与连续大I/O操作。从而显著提高磁盘读写的效率,减轻计算节点I/O处理压力,进一步释放其计算能力,大大提升整体MapReduce任务的执行性能。

新增特性

  • 支持RSS模式,更高效快速。
  • 支持副本,提供故障、错误场景更高的可靠性。
  • 支持流量控制,支持负载均衡。

修改特性

删除特性