鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

更新说明

在ESS(External Shuffle Service)的基础上,新增RSS(Remote Shuffle Service)模式。RSS模式创新地采用了存算分离架构设计,确保计算节点和存储节点各尽所能,分工协作。通过对SparkShuffle写流程的重写,BoostRSS会将MAP阶段所产生的数据统一保存至RSS节点内,从而把原有的小文件和小I/O操作,聚合成高效的大文件与连续大I/O操作。从而显著提高磁盘读写的效率,减轻计算节点I/O处理压力,进一步释放其计算能力,提升整体MapReduce任务的执行性能。

新增特性

  • 支持RSS模式,实现更快速的处理能力。
  • 支持副本功能,在故障或错误场景中提供更高的可靠性。
  • 具备流量控制能力,并支持负载均衡策略,有效优化资源分配。

修改特性

删除特性