环境要求

硬件要求

硬件要求如表1所示。

表1 Ceph所使用的环境

服务器名称

鲲鹏服务器

处理器

鲲鹏920处理器

核数

2*32核

主频

2600MHz

内存大小

384GB

内存频率

2933MHz

网卡

SP680网卡4*25GE

硬盘

系统盘:RAID1(2*960GB SATA SSD)

数据盘:RAID模式下使能JBOD(36*16TB SATA HDD)

NVMe SSD

缓存盘:2*ES3000 V5 8TB NVMe SSD

RAID控制卡

MegaRAID 9560-8i 4GB

由于安装过程中需要在线安装Ceph软件包及依赖包,请确保服务器可以接入互联网。

软件要求

软件要求如表2所示。

表2 相关软件版本

项目

版本

获取地址

OS-Ubuntu

ubuntu-22.04.5-live-server-arm64

https://cdimage.ubuntu.com/releases/22.04/release/ubuntu-22.04.5-live-server-arm64.iso

OS-openEuler-物理机

openEuler-22.03-LTS-SP4

https://mirrors.tools.huawei.com/openeuler/openEuler-22.03-LTS-SP4/ISO/aarch64/openEuler-22.03-LTS-SP4-everything-aarch64-dvd.iso

OS-openEuler-容器镜像

openEuler-22.03-LTS-SP4

https://repo.huaweicloud.com/openeuler/openEuler-22.03-LTS-SP4/docker_img/aarch64/openEuler-docker.aarch64.tar.xz

Ceph

17.2.8(quincy)

Cephadm

17.2.8-0ubuntu0.22.04.1 arm64

使用apt install -y cephadm安装

  • 本文档以Ceph 17.2.8版本进行说明,其他版本安装也可参考本文档。
  • 如果是全新安装操作系统,安装方式建议使用最小化安装。
  • 由于网关节点日志较多,网关节点根目录磁盘空间较小,容易导致网关节点异常,故在安装OS时需要确保系统根目录空间为500GB以上。
  • 部署Ceph时,集群中客户端服务端的OS版本应保持一致。

集群环境规划

集群由Ceph客户端和Ceph服务端组成,其中客户端为client1,服务端为ceph1~ceph3,其组网方式如图1所示。

图1 物理组网图

Ceph集群部署时各服务端IP地址举例如表3所示。

表3 服务端部署IP地址

集群

管理IP地址

Public Network

Cluster Network

ceph1

192.168.2.166

192.168.3.166

192.168.4.166

ceph2

192.168.2.167

192.168.3.167

192.168.4.167

ceph3

192.168.2.168

192.168.3.168

192.168.4.168

Ceph集群部署各客户端IP地址举例如表4所示。

表4 客户端部署IP地址

客户端

管理IP地址

Public Network

client1

192.168.2.160

192.168.3.160

  • 管理IP地址:用于远程SSH机器管理配置使用的IP地址。
  • 内部集群IP地址(Cluster Network):用于集群内部节点之间同步数据的IP地址,选取任意一个25GE网口配置即可。
  • 外部访问IP地址(Public Network):存储节点供其他节点访问的IP地址,选取任意一个25GE网口配置即可。
  • 客户端当做压力机,需保证客户端业务口IP地址与集群的外部访问IP地址在同一个网段,建议选用25GE网口进行配置。