EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
鲲鹏小智

应用场景

随着互联网大数据应用、云原生业务和AI融合应用地快速发展与落地,导致数据膨胀速度急剧增长。传统的存算一体架构面临横向扩展困难,同时在云化趋势下数据资源共享度变低,因此存算分离架构成为未来发展趋势。但存算分离架构会导致计算侧的应用跨网络访问存储侧的数据,使得业务IO性能降低,并且大规模的计算节点部署也会导致计算侧的资源利用率降低。

BeiMing-K BoostIO基于华为鲲鹏计算平台构建了计算侧高性能分布式读写缓存,再结合开源JuiceFS的广泛应用生态和优秀的北向兼容性,着力解决大数据领域和AI融合领域在存算分离架构下的性能损失问题。

当前大数据领域广泛应用的Spark计算引擎在存算分离架构下存在数据集加载慢的性能瓶颈,AI融合领域的大模型应用在存算分离架构下存在数据集加载慢和CheckPoint写入慢的性能瓶颈。BoostIO通过以下方式突破性能瓶颈:

  • BoostIO基于计算侧的内存介质和高速磁盘构建多级分布式写缓存,使能RDMA高速网络和多副本冗余机制保证数据高可靠,其目的是让应用IO终结在计算侧缓存从而降低数据写时延。
  • BoostIO创新性地采用读写缓存独立架构设计,可以带来缓存资源独立配置、淘汰策略灵活配置、资源使用互不影响等优势。
  • BoostIO采用分布式读缓存叠加数据智能预取和冷热识别,可以保证热、温数据尽可能缓存在计算侧的内存和高速磁盘介质上,冷数据存储在后端大容量存储集群中,其目的是提高缓存命中率,降低应用数据读取时延。

综上所述,BoostIO可以很好的解决大数据领域和AI融合领域的性能瓶颈问题,提升端到端应用性能表现。

图1 场景说明
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词