部署Ceph

安装Ceph软件

详细操作请参见《Ceph块存储 部署指南（CentOS 7.6&openEuler 20.03）》中“安装Ceph软件”的相关内容。

部署MON节点

详细操作请参见《Ceph块存储 部署指南（CentOS 7.6&openEuler 20.03）》中“部署MON节点”的相关内容。

部署MGR节点

详细操作请参见《Ceph块存储 部署指南（CentOS 7.6&openEuler 20.03）》中“部署MGR节点”的相关内容。

部署OSD节点

1. 则lsblk查看作为数据盘使用的硬盘下是否存在分区。

   1

   lsblk

   • 若存在分区，则需要清除分区信息后再开始部署，进入2。
   • 若不存在分区，则直接开始部署，进入3。
2. 清除分区信息（（以盘符/dev/sdb为例）。

   1	ceph-volume lvm zap /dev/sdb --destroy

3. 在Ceph1上创建Shell脚本，将每台服务器上的12块Bcache盘作为OSD的数据盘。
   1. 创建“create_osd.sh”文件。

      1 2	cd /etc/ceph vim /etc/ceph/create_osd.sh

   2. 按“i”进入编辑模式，新增如下内容。

      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

      #!/bin/bash for node in ceph1 ceph2 ceph3 do j=7 k=1 for i in `ssh ${node} "ls /sys/block | grep bcache | head -n 6"` do ceph-deploy osd create ${node} --data /dev/${i} --block-wal /dev/nvme0n1p${j} --block-db /dev/nvme0n1p${k} ((j=${j}+1)) ((k=${k}+1)) sleep 3 done j=7 k=1 for i in `ssh ${node} "ls /sys/block | grep bcache | tail -n 6"` do ceph-deploy osd create ${node} --data /dev/${i} --block-wal /dev/nvme1n1p${j} --block-db /dev/nvme1n1p${k} ((j=${j}+1)) ((k=${k}+1)) sleep 3 done done

      

      • 此脚本内容只适用于当前硬件配置，其他硬件配置可参考此脚本。
      • ceph-deploy osd create命令中：

        ${node}是节点的hostname。

        --data选项后面是作为数据盘的设备，以Bcache的后端盘作为数据盘。

        --block-db选项后面是DB分区。

        --block-wal选项后面是WAL分区。

      • DB和WAL通常部署在NVMe SSD上以提高写入性能，如果没有配置NVMe SSD或者直接使用NVMe SSD作为数据盘，则不需要--block-wal，只需要加--data指定数据盘即可。
   3. 按“Esc”键退出编辑模式，输入“:wq!”并按“Enter”键保存退出文件。
4. 在ceph1上运行脚本。

   1	bash create_osd.sh

5. 创建成功后，查看OSD是否创建成功。

   ceph -s

   

   36个OSD都为up即为创建成功。