鲲鹏社区首页
EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

启动Storage Service

本章节主要描述如何部署Storage存储服务。

  1. 从编译服务器获取二进制文件以及配置文件。
    mkdir -p /opt/3fs/{bin,etc} 
    mkdir -p /var/log/3fs 
    rsync -avz meta:/home/3fs/build/bin/storage_main /opt/3fs/bin 
    rsync -avz meta:/home/3fs/configs/{storage_main_launcher.toml,storage_main.toml,storage_main_app.toml} /opt/3fs/etc 
    rsync -avz meta:/home/3fs/deploy/systemd/storage_main.service /usr/lib/systemd/system 
    rsync -avz meta:/usr/lib64/libfdb_c.so /usr/lib64
  2. 更新配置文件storage_main_app.toml。
    1. 打开“/opt/3fs/etc/storage_main_app.toml”文件。
      vim /opt/3fs/etc/storage_main_app.toml
    2. “i”进入编辑模式,按照如下信息修改配置文件。
      allow_empty_node_id = true 
      node_id = 10001   	# 更新node_id 注意几个storage节点的node_id不同
    3. “Esc”键退出编辑模式,输入:wq!,按“Enter”键保存退出文件。
  3. 更新配置文件storage_main_launcher.toml。
    1. 打开“/opt/3fs/etc/storage_main_launcher.toml”文件。
      vim /opt/3fs/etc/storage_main_launcher.toml
    2. “i”进入编辑模式,按照如下信息修改配置文件。
      ... 
      cluster_id = "stage" 
      ... 
      [mgmtd_client] 
      mgmtd_server_addresses = ["RDMA://192.168.65.10:8000"] 
      ...
    3. “Esc”键退出编辑模式,输入:wq!,按“Enter”键保存退出文件。
  4. 更新配置文件storage_main.toml
    1. 打开“/opt/3fs/etc/storage_main.toml”文件。
      vim /opt/3fs/etc/storage_main.toml
    2. “i”进入编辑模式,按照如下信息修改配置文件。
      ... 
      [server.base.groups.listener] 
      filter_list = ['enp133s0f0np0'] # 查询RDMA网卡名填入
      listen_port = 8000 
      ... 
      [server.base.groups.listener] 
      filter_list = ['enp133s0f0np0'] # 查询RDMA网卡名填入
      listen_port = 9000 
      ... 
      [server.mgmtd] 
      mgmtd_server_address = ["RDMA://192.168.65.10:8000"] 
      ... 
      [common.monitor.reporters.monitor_collector] 
      remote_ip = "192.168.65.10:10000" 
      ... 
      [server.targets] 
      target_paths = ["/storage/data0/3fs","/storage/data1/3fs","/storage/data2/3fs","/storage/data3/3fs","/storage/data4/3fs","/storage/data5/3fs","/storage/data6/3fs","/storage/data7/3fs"] 
      ...
    3. “Esc”键退出编辑模式,输入:wq!,按“Enter”键保存退出文件。
  5. 向Mgmtd Service依次更新Storage节点配置。
    /opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml "set-config --type STORAGE --file /opt/3fs/etc/storage_main.toml"
  6. 启动服务。
    systemctl start storage_main
  7. 检查服务状态。
    systemctl status storage_main

  8. 检查集群Nodes List。
    /opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml "list-nodes" 

    回显如下。

    # Id     Type     Status               Hostname  Pid      Tags  LastHeartbeatTime    ConfigVersion  ReleaseVersion 
    # 1      MGMTD    PRIMARY_MGMTD        meta      2281735  []    N/A                  1(UPTODATE)   250228-dev-1-999999-923bdd7c 
    # 100    META     HEARTBEAT_CONNECTED  meta      2281842  []    2025-03-12 17:01:32  1(UPTODATE)   250228-dev-1-999999-923bdd7c 
    # 10001  STORAGE  HEARTBEAT_CONNECTED  storage1  3294593  []    2025-03-12 17:38:13  1(UPTODATE)   250228-dev-1-999999-923bdd7c 
    # 10002  STORAGE  HEARTBEAT_CONNECTED  storage2  476286   []    2025-03-12 17:38:12  1(UPTODATE)   250228-dev-1-999999-923bdd7c 
    # 10003  STORAGE  HEARTBEAT_CONNECTED  storage3  2173767  []    2025-03-12 17:38:12  1(UPTODATE)   250228-dev-1-999999-923bdd7c

    如果没有显示Storage节点,通常需要等待1~3分钟左右。