硬件要求
硬件要求如表1所示。
服务器名称 |
鲲鹏服务器 |
|---|---|
处理器 |
鲲鹏920 5220处理器 |
核数 |
2*32核 |
主频 |
2600MHz |
内存大小 |
8*16GB |
内存频率 |
2933MHz |
网卡 |
IN200网卡4*25GE |
硬盘 |
系统盘：RAID1（2*960GB SATA SSD） 数据盘：RAID模式下使能JBOD（12*4TB SATA HDD） |
缓存盘：1*ES3000 V5 3.2TB NVMe SSD |
|
RAID控制卡 |
Avago SAS 3508 |
由于安装过程中需要在线安装Ceph软件包及依赖包，请确保服务器可以接入互联网。
软件要求
软件要求如表2所示。
项目 |
版本 |
|---|---|
OS |
CentOS Linux release 7.6.1810 |
openEuler 20.03 LTS SP1 (Kernel: 4.19.90-2012.4.0.0053.oe1) |
|
openEuler 22.03 LTS SP4 (Kernel: 5.10.0-216.0.0.115.oe2203sp4) |
|
Ceph |
14.2.8 Nautilus / 16.2.7 Pacific |
ceph-deploy |
2.0.1 / 2.1.0 |
- 本文档以Ceph 14.2.8版本和Ceph 16.2.7版本进行说明，其他版本安装也可参考本文档。
- 如果是全新安装操作系统，安装方式建议使用最小化安装。
集群环境规划
集群由Ceph客户端和Ceph服务端组成，其中客户端为client1~client3，服务端为ceph1~ceph3，其组网方式如图1所示。
Ceph集群部署时各服务端IP地址举例如表3所示。
集群 |
管理IP地址 |
Public Network |
Cluster Network |
|---|---|---|---|
ceph1 |
192.168.2.166 |
192.168.3.166 |
192.168.4.166 |
ceph2 |
192.168.2.167 |
192.168.3.167 |
192.168.4.167 |
ceph3 |
192.168.2.168 |
192.168.3.168 |
192.168.4.168 |
Ceph集群部署各客户端IP地址举例如表4所示。
客户端 |
管理IP地址 |
Public Network |
|---|---|---|
client1 |
192.168.2.160 |
192.168.3.160 |
client2 |
192.168.2.161 |
192.168.3.161 |
client3 |
192.168.2.162 |
192.168.3.162 |
- 管理IP地址：用于远程SSH机器管理配置使用的IP地址。
- 内部集群IP地址（Cluster Network）：用于集群内部节点之间同步数据的IP地址，选取任意一个25GE网口配置即可。
- 外部访问IP地址（Public Network）：存储节点供其他节点访问的IP地址，选取任意一个25GE网口配置即可。
- 客户端当做压力机，需保证客户端业务口IP地址与集群的外部访问IP地址在同一个网段，建议选用25GE网口进行配置。
硬盘划分
Ceph 14.2.10采用了BlueStore作为后端存储引擎，没有了Jewel版本的Journal盘分区的划分，而是变成DB分区（元数据分区）和WAL分区。这两个分区分别存储BlueStore后端产生的元数据和日志文件，这样整个存储系统通过元数据对数据的操作效率极高，同时通过日志事务来维持系统的稳定性。
在集群部署时，每个Ceph节点配置12块4TB数据盘和1块3.2TB的NVMe盘。每个4TB数据盘作为一个OSD的数据分区，单个NVMe盘作为12个OSD的DB、WAL分区。一般WAL分区大于10GB就足够使用，Ceph官方文档建议每个DB分区不小于每个数据盘容量的4%，具体可根据NVMe盘容量灵活设置。在本方案中，NVMe盘划分27个分区，其中12个20GB分区作为WAL，12个45GB分区作为DB。为了提高对象存储性能，每个NVMe盘划分3个700GB分区作为RGW对象存储的元数据存储池分区。
综上，对于一个NVMe，分区如表5所示。