实时流处理场景各组件配置具体如表1所示。
节点类型 |
典型配置 |
数量 |
计算过程 |
---|---|---|---|
管理节点 |
双路机架式服务器,2颗华为鲲鹏916或920处理器,128GB及以上内存,6块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持3组以上RAID 1),两个万兆网口 ,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。 |
2 |
- |
控制节点 |
双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,10块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持5组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。 |
3/5/9/11 |
|
管理控制节点(混合部署) |
双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,12块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持6组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。 |
3 |
集群规模3~30 |
Kafka |
双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,2块600G及以上SAS 2.5寸硬盘,24块1.2TB及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持1组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。 |
依据吞吐量或存储数据量计算 |
|
Flink/Storm |
双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,4块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持1组以上RAID 1),两个万兆网口 ,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。 |
依据计算量计算 |
|
Redis |
双路机架式服务器,2颗华为鲲鹏916或920处理器,512GB及以上内存,10块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持1组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。 |
依据数据量计算 |
M(总数据量,GB) * 2 (两副本) / 512 (单节点内存量,GB) / 0.85(预留比例) |