典型配置

实时流处理场景各组件配置具体如表1所示。

表1 大数据实时流处理场景典型配置

节点类型

典型配置

数量

计算过程

管理节点

双路机架式服务器,2颗华为鲲鹏916或920处理器,128GB及以上内存,6块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持3组以上RAID 1),两个万兆网口 ,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

2

-

控制节点

双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,10块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持5组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

3/5/9/11

  • 集群规模30~100:3台
  • 集群规模100~500:5台
  • 集群规模500~2000:9台
  • 集群规模2000~5000:11台

管理控制节点(混合部署)

双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,12块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持6组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

3

集群规模3~30

Kafka

双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,2块600G及以上SAS 2.5寸硬盘,24块1.2TB及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持1组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

依据吞吐量或存储数据量计算

  • 按照吞吐量计算:X(总吞吐量,MB/秒) / 100(单节点最大Producer吞吐量,MB/秒) / 0.85(预留比例)
  • 按照存储量计算:X(总吞吐量,MB/秒) * 3600 * 24 * D(天数,默认7)* 2(副本数) / 1024 / 1024 /(25 * 1.2)/ 0.85(预留比例)
  • 二者取大值,最少配置2台

Flink/Storm

双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,4块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持1组以上RAID 1),两个万兆网口 ,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

依据计算量计算

  • Flink:X(总吞吐量,MB/秒) / 30(单节点处理量,MB/秒) / 0.85(预留比例)
  • SparkStreaming:X(总吞吐量,MB/秒) / 10(单节点处理量,MB/秒) / 0.85(预留比例)

Redis

双路机架式服务器,2颗华为鲲鹏916或920处理器,512GB及以上内存,10块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持1组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

依据数据量计算

M(总数据量,GB) * 2 (两副本) / 512 (单节点内存量,GB) / 0.85(预留比例)