环境要求

硬件要求

集群中服务端硬件规格分为均衡型和全闪存型,具体配置如表1表2表3所示。

本文的部署指导基于均衡型64核,均衡型96核与全闪存均可参考使用。

表1 均衡型64核服务端规格

项目

规格

处理器

2*鲲鹏920 5220处理器

内存

256GB

内存频率

2933MHz

网卡

2*双端口25GE

系统盘

2*480GB SATA SSD

缓存盘

2*3.2TB NVMe SSD

数据盘

12*8TB SATA HDD

表2 均衡型96核服务端规格

项目

规格

处理器

2*鲲鹏920 5250处理器

内存

192GB

内存频率

2933MHz

网卡

4*10GE

系统盘

2*480GB SATA SSD

缓存盘

2*3.2TB NVMe SSD

数据盘

12*8TB SATA HDD

表3 全闪存服务端规格

项目

规格

处理器

鲲鹏920 7260处理器

内存大小

384GB(12*32GB)

内存频率

2933MHz

网卡

1*双端口25GbE + 1*四端口25GbE

RAID卡

Avago SAS 3508

硬盘

  • 系统盘:1*480GB SATA SSD
  • 缓存盘:8*3.2TB ES3600P NVMe SSD

当前缓存盘已支持7.68T NVMe SSD,表1表2的缓存盘配置可以用2*7.68TB NVMe SSD。

集群中客户端和编译机硬件要求如表4表5所示,鲲鹏编译机编译出的包用于鲲鹏服务端和鲲鹏客户端,x86编译机编译出的包用于x86客户端。

表4 鲲鹏客户端规格

项目

规格

处理器

鲲鹏920 5220处理器

内存

大于128GB

内存频率

2933MHz

网卡

2*25GE

表5 x86客户端规格

项目

规格

服务器

2288H V5

处理器

Intel 5218

内存

大于128GB

内存频率

2933MHz

网卡

4*10GE

操作系统和软件要求

操作系统和软件要求如表6所示。

表6 操作系统和软件要求

项目

版本

操作系统

openEuler 20.03 LTS SP1

Ceph

14.2.8

Java

1.8.0_282

GCC

7.3.0

CMake

不低于3.14.1

Maven

3.6.3

OpenSSL

1.1.1k

集群规划

本文集群规划为三节点集群,包含三台Ceph服务端服务器和三台Ceph客户端服务器。另外,在软件编译过程中,需要使用到一台服务器作为编译机,可根据实际情况,在集群之外单独使用一台服务器作为编译机,或使用集群中的一台客户端服务器作为编译机。本文以单独使用一台服务器作为编译机为例进行部署。

集群组网图如图1所示。

图1 集群规划

集群规划各节点详情如表7所示。

表7 集群节点

节点名称

节点角色

公共网络IP地址示例

集群网络IP地址示例

ceph1

服务端

192.168.3.166

192.168.4.166

ceph2

服务端

192.168.3.167

192.168.4.167

ceph3

服务端

192.168.3.168

192.168.4.168

client1

客户端

192.168.3.160

NA

client2

客户端

192.168.3.161

NA

client3

客户端

192.168.3.162

NA

编译机

编译机

NA

NA

用户规划

本文中需使用到的用户如表8所示。

表8 用户说明

用户名

角色

用途

备注

root

根用户

用于安装部署Global Cache。

为规避安全风险,请仅在部署Global Cache时使用root用户。

globalcacheop

安全用户

用于生成和更新证书。

-

运维用户

用于对Global Cache进行运维。

-

globalcache

globalcache进程用户

用于启动GlobalCache进程。

-

ccm

ccm进程用户

用于启动ccm_main进程。

-