配置部署环境

本文档中，不同操作系统下的操作若有不同，会进行说明区分，若未说明，则该操作在两个操作系统下一致。

关闭SMMU

在部署Ceph前请关闭SMMU，以防其对Ceph性能造成影响。

  1. 进入BIOS。

    具体请参见《TaiShan 服务器 BIOS 参数参考（鲲鹏920处理器）》中“进入BIOS界面”的相关内容。

  2. 进入“Advanced->MISC Config”配置页面。

  3. 将“Support Smmu”设置为“Disabled”，按F10键保存退出。

配置主机名

  1. 配置永久静态主机名，主机配置为ceph1~ceph3，客户机配置为client1~client3。

    1. 配置主机节点。

      ceph1节点：

      1
      hostnamectl --static set-hostname ceph1

      其余节点以此类推。

    2. 同理配置客户机节点。

      client1节点：

      1
      hostnamectl --static set-hostname client1

      其余节点以此类推。

  2. 修改域名解析文件。

    1
    vi /etc/hosts
    在各个集群和客户端节点的“/etc/hosts”中添加如下内容：
    1
2
3
4
5
6
    192.168.3.166   ceph1
192.168.3.167   ceph2
192.168.3.168   ceph3
192.168.3.160   client1
192.168.3.161   client2
192.168.3.162   client3

配置免密登录

需配置ceph1节点对所有主/客户机节点的免密（包括ceph1本身），此外需要配置client1节点对所有主/客户机节点的免密（包括client1本身）。

  1. 在ceph1节点生成公钥，并发放到各个主机/客户机节点。

    1
2
3
    ssh-keygen -t rsa
for i in {1..3}; do ssh-copy-id ceph$i; done
for i in {1..3}; do ssh-copy-id client$i; done

    输入第一条命令“ssh-keygen -t rsa”之后，按回车使用默认配置。

  2. 在client1节点生成公钥，并发放到各个主机/客户机节点。

    1
2
3
    ssh-keygen -t rsa
for i in {1..3}; do ssh-copy-id ceph$i; done
for i in {1..3}; do ssh-copy-id client$i; done

    输入第一条命令“ssh-keygen -t rsa”之后，按回车使用默认配置。

关闭防火墙

关闭本节点防火墙，需在所有Ceph节点和Client节点依次执行如下命令。

1
2
3
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

设置permissive模式

设置permissive模式，需在所有主客户机节点执行。

配置repo源

本文档提供在线和离线两种repo源的安装方式，推荐使用在线安装方式。

方法一：在线方式安装

  1. 在所有集群和客户端节点建立ceph.repo。

    1
    vi /etc/yum.repos.d/ceph.repo

    并加入如下内容：

     1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
    [Ceph]
name=Ceph packages for $basearch 
baseurl=http://download.ceph.com/rpm-nautilus/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
 
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
 
[ceph-source]
name=Ceph source packages
baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

  2. 更新yum源。

    1
    yum clean all && yum makecache

  3. 安装epel源。（openEuler系统下无需操作此步骤，请跳过。）

    1
    yum -y install epel-release

  4. 修改所有节点代理配置。

    1
    vim /etc/environment

    添加如下内容使其支持相关依赖包的安装：

    1
2
3
4
    export http_proxy=http://{Proxy-User-Name}:{Proxy-Password}@<Proxy-Server-IP-Address>:<Proxy-Port>
export https_proxy= http://{Proxy-User-Name}:{Proxy-Password}@<Proxy-Server-IP-Address>:<Proxy-Port>
export ftp_proxy= http://{Proxy-User-Name}:{Proxy-Password}@<Proxy-Server-IP-Address>:<Proxy-Port>
export no_proxy=127.0.0.1,localhost

方法二：离线方式安装

集群中所有节点均需配置repo源，分别在各个节点进行如下操作。

目前source.zip包需要自己手动制作，制作方法请参见repo源压缩包制作。

  1. 将source.zip传到“/home”目录后进入该目录。

    1
    cd /home

  2. 解压。

    1
    unzip source.zip

  3. 安装createrepo。

    1
    yum install -y createrepo/*.rpm

  4. 创建本地源。

    1
2
    cd /home/local_source
createrepo .

  5. 进入“yum.repo.d”目录。

    1
    cd /home/yum.repo.d

  6. 将系统自带repo文件备份移除。

    1
2
    mkdir bak
mv *.repo bak

  7. 创建repo文件。

    1
    vi local.repo
    添加如下内容：
    1
2
3
4
5
    [local]
name=local
baseurl=file:///home/local_source
enabled=1
gpgcheck=0

编译python-enum34软件包

编译python-enum34软件包的操作仅需在openEuler操作系统下进行，CentOS操作系统请跳过此部分内容。

以下操作需要在所有节点进行。

  1. 下载源码及补丁。

    1
    git clone -b openEuler-20.03-LTS-SP1 https://gitee.com/src-openeuler/python-enum34.git

  2. 将源码包移动到“/root/rpmbuild/SOURCES”目录下。

    1
    mv python-enum34/enum34-1.1.6.tar.gz /root/rpmbuild/SOURCES

  3. 修改spec文件。

    1
    vim python-enum34/python-enum34.spec

    将第42行的“%files -n python2-%{_name}”改为“%files -n python-%{_name}”。

  4. 编译软件包。

    1
2
3
    mkdir -p /root/rpmbuild/{SPECS,SOURCES}
mv python-enum34/python-enum34.spec /root/rpmbuild/SPECS/
rpmbuild -bb /root/rpmbuild/SPECS/python-enum34.spec

  5. 将编译好的rpm包移动到指定文件夹。

    1
2
    mkdir -p /home/rpm/local
cp -r /root/rpmbuild/RPMS/*  /home/rpm/local/

  6. 获取liboath软件包并制作repo源。

    1
2
3
4
5
6
    cd  /home/rpm/local
wget http://mirrors.tools.huawei.com/openeuler/openEuler-21.03/everything/aarch64/Packages/liboath-2.6.5-2.oe1.aarch64.rpm
wget http://mirrors.tools.huawei.com/openeuler/openEuler-21.03/everything/aarch64/Packages/liboath-devel-2.6.5-2.oe1.aarch64.rpm
wget http://mirrors.tools.huawei.com/openeuler/openEuler-21.03/everything/aarch64/Packages/liboath-doc-2.6.5-2.oe1.noarch.rpm
yum install -y createrepo
cd  /home/rpm/local & createrepo .

  7. 配置repo文件。

    1
    vim /etc/yum.repos.d/local.repo

    文件中加入以下内容：

    1
2
3
4
5
6
    [local-rpm]
name=local-rpm
baseurl=file:///home/rpm/local
enabled=1
gpgcheck=0
priority=1

  8. 清理yum缓存。

    1
    yum clean all && yum makecache

父主题： Ceph-ansible 部署指南（CentOS 7.6&openEuler 20.03）