典型配置

实时检索场景各组件配置具体如表1所示。

表1 大数据实时检索场景典型配置

节点类型

典型配置

数量

计算过程

管理节点

双路机架式服务器,2颗华为鲲鹏916或920处理器,128GB及以上内存,6块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持3组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

2

-

控制节点

双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,10块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持5组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

3/5/9/11

  • 集群规模30~100:3台
  • 集群规模100~500:5台
  • 集群规模500~2000:9台
  • 集群规模2000~5000:11台

管理控制节点(混合部署)

双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,12块600G及以上SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持6组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

3

集群规模3~30

Elasticsearch节点

双路机架式服务器,2颗华为鲲鹏916或920处理器,256GB及以上内存,2块600G及以上SAS 2.5寸硬盘,24块1.2T SAS 2.5寸硬盘,1GB LSI RAID 0/1卡(支持1组以上RAID 1,4组以上RAID 5),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

依据数据量计算

按照数据量计算,计算公式为:节点数 = 规划数据量 * 1.5(数据膨胀率) * 1(数据压缩率) * 2(2副本)/ 0.8(磁盘利用率) / 0.9 (磁盘进制转换)/ (24 (磁盘个数) * 1.2T (磁盘容量) * 5/6(RAID系数) )

HBase节点

双路机架式服务器,2颗华为鲲鹏916或920处理器,128GB及以上内存,2块600G及以上SAS 2.5寸硬盘,12块4T及以上SATA 3.5寸硬盘,1GB LSI RAID 0/1卡(支持1组以上RAID 1),两个万兆网口,两个千兆网口(两个网口配成bond,分别接入两个接入交换机),独立电源。

依据数据量计算

按照数据量计算,计算公式为:节点数 = 规划数据量 * 1.5(数据膨胀率) * 1(数据压缩率) * 3(3副本)/ 0.8(磁盘利用率) / 0.9 (磁盘进制转换)/ (12 (磁盘个数) * 4T (磁盘容量))