启动Storage Service
本章节主要描述如何部署Storage存储服务。
- 从编译服务器获取二进制文件以及配置文件。
mkdir -p /opt/3fs/{bin,etc} mkdir -p /var/log/3fs rsync -avz meta:/home/3fs/build/bin/storage_main /opt/3fs/bin rsync -avz meta:/home/3fs/configs/{storage_main_launcher.toml,storage_main.toml,storage_main_app.toml} /opt/3fs/etc rsync -avz meta:/home/3fs/deploy/systemd/storage_main.service /usr/lib/systemd/system rsync -avz meta:/usr/lib64/libfdb_c.so /usr/lib64
- 更新配置文件storage_main_app.toml。
- 打开“/opt/3fs/etc/storage_main_app.toml”文件。
vim /opt/3fs/etc/storage_main_app.toml
- 按“i”进入编辑模式,按照如下信息修改配置文件。
allow_empty_node_id = true node_id = 10001 # 更新node_id 注意几个storage节点的node_id不同
- 按“Esc”键退出编辑模式,输入:wq!,按“Enter”键保存退出文件。
- 打开“/opt/3fs/etc/storage_main_app.toml”文件。
- 更新配置文件storage_main_launcher.toml。
- 打开“/opt/3fs/etc/storage_main_launcher.toml”文件。
vim /opt/3fs/etc/storage_main_launcher.toml
- 按“i”进入编辑模式,按照如下信息修改配置文件。
... cluster_id = "stage" ... [mgmtd_client] mgmtd_server_addresses = ["RDMA://192.168.65.10:8000"] ...
- 按“Esc”键退出编辑模式,输入:wq!,按“Enter”键保存退出文件。
- 打开“/opt/3fs/etc/storage_main_launcher.toml”文件。
- 更新配置文件storage_main.toml。
- 打开“/opt/3fs/etc/storage_main.toml”文件。
vim /opt/3fs/etc/storage_main.toml
- 按“i”进入编辑模式,按照如下信息修改配置文件。
... [server.base.groups.listener] filter_list = ['enp133s0f0np0'] # 查询RDMA网卡名填入 listen_port = 8000 ... [server.base.groups.listener] filter_list = ['enp133s0f0np0'] # 查询RDMA网卡名填入 listen_port = 9000 ... [server.mgmtd] mgmtd_server_address = ["RDMA://192.168.65.10:8000"] ... [common.monitor.reporters.monitor_collector] remote_ip = "192.168.65.10:10000" ... [server.targets] target_paths = ["/storage/data0/3fs","/storage/data1/3fs","/storage/data2/3fs","/storage/data3/3fs","/storage/data4/3fs","/storage/data5/3fs","/storage/data6/3fs","/storage/data7/3fs"] ...
- 按“Esc”键退出编辑模式,输入:wq!,按“Enter”键保存退出文件。
- 打开“/opt/3fs/etc/storage_main.toml”文件。
- 向Mgmtd Service依次更新Storage节点配置。
/opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml "set-config --type STORAGE --file /opt/3fs/etc/storage_main.toml"
- 启动服务。
systemctl start storage_main
- 检查服务状态。
systemctl status storage_main
- 检查集群Nodes List。
/opt/3fs/bin/admin_cli -cfg /opt/3fs/etc/admin_cli.toml "list-nodes"
回显如下。
# Id Type Status Hostname Pid Tags LastHeartbeatTime ConfigVersion ReleaseVersion # 1 MGMTD PRIMARY_MGMTD meta 2281735 [] N/A 1(UPTODATE) 250228-dev-1-999999-923bdd7c # 100 META HEARTBEAT_CONNECTED meta 2281842 [] 2025-03-12 17:01:32 1(UPTODATE) 250228-dev-1-999999-923bdd7c # 10001 STORAGE HEARTBEAT_CONNECTED storage1 3294593 [] 2025-03-12 17:38:13 1(UPTODATE) 250228-dev-1-999999-923bdd7c # 10002 STORAGE HEARTBEAT_CONNECTED storage2 476286 [] 2025-03-12 17:38:12 1(UPTODATE) 250228-dev-1-999999-923bdd7c # 10003 STORAGE HEARTBEAT_CONNECTED storage3 2173767 [] 2025-03-12 17:38:12 1(UPTODATE) 250228-dev-1-999999-923bdd7c
如果没有显示Storage节点,通常需要等待1~3分钟左右。
父主题: 部署Storage Service