Ceph练习-文件系统

基础概念#

Monitors： Ceph 监视器（ceph-mon）维护集群状态的映射，包括监视器映射、管理器映射、OSD 映射、MDS 映射和 CRUSH 映射
Managers： Ceph Manager 守护程序（ceph-mgr）负责跟踪运行时指标和 Ceph 集群的当前状态，包括存储利用率、当前性能指标和系统负载
Ceph OSD：对象存储守护进程（Ceph OSD， ceph-osd）存储数据，处理数据复制、恢复、重新平衡，并通过检查其他 Ceph OSD 守护进程的检测信号向 Ceph 监视器和管理器提供一些监控信息。通常至少需要三个 Ceph OSD 才能实现冗余和高可用性。
MDSes：Ceph 元数据服务器（MDS、ceph-mds）存储 Ceph 文件系统的元数据。Ceph 元数据服务器允许 CephFS 用户运行基本命令（如 ls、find 等），而不会给 Ceph 存储集群带来负担。
RGW：Ceph 对象网关（RGW，ceph-radosgw）守护进程在应用程序和 Ceph 存储集群之间提供 RESTful 网关。S3 兼容的 API 是最常用的，但 Swift 也可用。

前期操作#

主机信息#

三台Rocky9虚拟机，每台主机2c2g20g，另每台挂载20G空硬盘

主机名	IP地址
ceph-7	192.168.200.7
ceph-8	192.168.200.8
ceph-9	192.168.200.9

用户名#

1
hostnamectl set-hostname ceph-7

主机host文件#

1
echo -e '192.168.200.7\tceph-7\n192.168.200.8\tceph-8\n192.168.200.9\tceph-9' >> /etc/hosts

固定IP#

1
nmcli connection modify enp1s0 ipv4.method manual ipv4.addresses 192.168.200.7/24 ipv4.gateway 192.168.200.1 ipv4.dns "223.9.9.9,119.29.29.29" autoconnect yes
2

3
nmcli connection up enp1s0

关闭Selinux#

1
setenforce 0；sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

时间同步#

1
sed -i 's/^pool.*/pool cn.ntp.org.cn iburst/' /etc/chrony.conf ; systemctl restart chronyd

检查时间同步

1
root@ceph-8:~# chronyc sources
2
MS Name/IP address         Stratum Poll Reach LastRx Last sample
3
===============================================================================
4
^? 58.220.133.132                0   6     0     -     +0ns[   +0ns] +/-    0ns

关闭防火墙#

1
systemctl disable --now firewalld.service

开启root SSH登陆#

1
sed -i 's/^#PermitRootLogin.*/PermitRootLogin yes/' /etc/ssh/sshd_config ; systemctl restart sshd

国内镜像源#

1
sed -e 's|^mirrorlist=|#mirrorlist=|g' \
2
    -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.ustc.edu.cn/rocky|g' \
3
    -i.bak \
4
    /etc/yum.repos.d/rocky*

配置HTTP和HTTPS代理#

主要目的方便后便下载镜像

国内免费的镜像加速速度太感人了，都爬一边去

直接设置Rock走科学工具的http代理

容器下载速度由你的科学上网工具决定

我的电脑是Linux，window直接跳过防火墙这个操作

firewalld放开virbr1的源地址访问public区域

1
# 立即放行源地址为QEMU NAT网卡的网段
2
sudo firewall-cmd --zone=public --add-source=192.168.200.0/24
3
# 防火墙持久化
4
sudo firewall-cmd --zone=public --add-source=192.168.200.0/24 --permanent

在虚拟机上设置HTTP和HTTPS代理

1
echo -e "export http_proxy=http://192.168.200.1:65500\nexport https_proxy=http://192.168.200.1:65500" >> /etc/profile ； source /etc/profile

安装Ceph#

IMPORTANT
仅在主节点ceph-7上操作

1
# 安装ceph源
2
dnf install -y centos-release-ceph-squid
3
# 安装cephadm
4
dnf install -y cephadm
5

6
# jinja2依赖
7
dnf install python3-jinja2
8

9
# 安装
10
cephadmin install
11

12
# 安装管理面板
13
cephadm bootstrap --mon-ip 192.168.200.7
14

15

16
             URL: https://ceph-7:8443/
17
            User: admin
18
        Password: qj0ponlenl
19
# ceph8、ceph-9免登陆
20
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-8
21
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-9

Ceph管理面板#

添加主机#

面板: Cluster/主机下添加，主机名+IP地址+标签：_admin

添加OSD存储（Object Storage Daemon）#

面板：Cluster/OSD
- 如果osd添加不成功，检查一下哪个VM的容器状态
命令行操作
- 我虚拟机搞的Rocky10，Ceph现在才支持到Rocky9
- ceph命令只能在cephadm shell中使用，也就隔层docker使用命令
- 你可以直接安装ceph-common包使用ceph命令

1
cephadm shell -- ceph orch daemon add osd ceph-8:/dev/vdb

创建文件系统#

面板添加：File/文件系统
命令添加

1
cephadm shell -- ceph fs volume create cephfs

宿主机挂载cephfs#

mount命令挂载

1
# 创建挂载点
2
sudo mkdir /mnt/ceph
3

4
# 查看ceph-7上的ceph.client.admin.keyring
5
root@ceph-7:~# cat /etc/ceph/ceph.client.admin.keyring
6
[client.admin]
7
        key = AQAjjvNonkdlFRAAMJFkfHEmwP1/Ne2xA05ILQ==
8
        caps mds = "allow *"
9
        caps mgr = "allow *"
10
        caps mon = "allow *"
11
        caps osd = "allow *"
12

13
# 在宿主机上挂载ceph,通过secret认证方式
14
sudo mount -t ceph 192.168.200.7:/ /mnt/ceph \
15
-o name=admin,secret=AQAjjvNonkdlFRAAMJFkfHEmwP1/Ne2xA05ILQ==
16

17
# 检查挂载结果
18
[root@Arch-8845 lee]# df -h /mnt/ceph/
19
文件系统         大小  已用  可用 已用% 挂载点
20
192.168.200.7:/   19G     0   19G    0% /mnt/ceph
21

22
# 复制ceph-7上的ceph.client.admin.keyring
23
[root@Arch-8845 lee]#scp root@ceph-7:/etc/ceph/* /etc/ceph
24

25
# 设置开机挂载
26
[root@Arch-8845 lee]# vim /etc/fstab
27

28
192.168.200.7:/ /mnt/cephfs ceph  name=admin,secretfile=/etc/ceph/ceph.client.admin.keyring,_netdev 0 0

删除文件系统#

检查文件系统信息#

1
root@ceph-7:~# cephadm shell -- ceph fs status
2
Inferring fsid 8ea7ba22-ac21-11f0-b2c2-525400e13a2b
3
Inferring config /var/lib/ceph/8ea7ba22-ac21-11f0-b2c2-525400e13a2b/mon.ceph-7/config
4
Using ceph image with id 'aade1b12b8e6' and tag 'v19' created on 2025-07-17 19:53:27 +0000 UTC
5
quay.io/ceph/ceph@sha256:af0c5903e901e329adabe219dfc8d0c3efc1f05102a753902f33ee16c26b6cee
6
cephfs - 0 clients
7
======
8
       POOL           TYPE     USED  AVAIL
9
cephfs.cephfs.meta  metadata  1935k  18.9G
10
cephfs.cephfs.data    data    99.4M  18.9G
11
    STANDBY MDS
12
cephfs.ceph-9.quvzuh
13
MDS version: ceph version 19.2.3 (c92aebb279828e9c3c1f5d24613efca272649e62) squid (stable)

关闭文件系统#

1
cephadm shell -- ceph fs set cephfs down true

删除文件系统#

1
cephadm shell -- ceph fs rm cephfs --yes-i-really-mean-it

设置mon允许删除pool#

命令行

1
cephadm shell --  ceph config set mon mon_allow_pool_delete true

图形界面
- Administration/配置/mon_allow_pool_delete - 编辑

删除pool#

1
# 首先删除metadata pool
2
# 注意： 需要重复输入 metadata pool 的名字一次
3
# 后跟 -yes-i-really-really-mean-it 参数
4

5
root@ceph-7:~# cephadm shell -- ceph osd pool delete cephfs.cephfs.meta cephfs.cephfs.meta --yes-i-really-really-mean-it
6
Inferring fsid 8ea7ba22-ac21-11f0-b2c2-525400e13a2b
7
Inferring config /var/lib/ceph/8ea7ba22-ac21-11f0-b2c2-525400e13a2b/mon.ceph-7/config
8
Using ceph image with id 'aade1b12b8e6' and tag 'v19' created on 2025-07-17 19:53:27 +0000 UTC
9
quay.io/ceph/ceph@sha256:af0c5903e901e329adabe219dfc8d0c3efc1f05102a753902f33ee16c26b6cee
10
pool 'cephfs.cephfs.meta' removed
11

12

13
# 重复上边步骤删除data pool
14
root@ceph-7:~# cephadm shell -- ceph osd pool delete cephfs.cephfs.data cephfs.cephfs.data --yes-i-really-really-mean-it
15
Inferring fsid 8ea7ba22-ac21-11f0-b2c2-525400e13a2b
16
Inferring config /var/lib/ceph/8ea7ba22-ac21-11f0-b2c2-525400e13a2b/mon.ceph-7/config
17
Using ceph image with id 'aade1b12b8e6' and tag 'v19' created on 2025-07-17 19:53:27 +0000 UTC
18
quay.io/ceph/ceph@sha256:af0c5903e901e329adabe219dfc8d0c3efc1f05102a753902f33ee16c26b6cee
19
pool 'cephfs.cephfs.data' removed

清除 Ceph 存储集群#

先查找monitor的fsid，然后cephadm删除集群

1
cephadm ls
2
c
3
cephadm rm-cluster --force --zap-osds  --fsid FSID

回顾一下#

`ceph-7`的`ceph`状态#

1
root@ceph-7:~# cephadm shell -- ceph -s
2
Inferring fsid 8ea7ba22-ac21-11f0-b2c2-525400e13a2b
3
Inferring config /var/lib/ceph/8ea7ba22-ac21-11f0-b2c2-525400e13a2b/mon.ceph-7/config
4
Using ceph image with id 'aade1b12b8e6' and tag 'v19' created on 2025-07-17 19:53:27 +0000 UTC
5
quay.io/ceph/ceph@sha256:af0c5903e901e329adabe219dfc8d0c3efc1f05102a753902f33ee16c26b6cee
6
  cluster:
7
    id:     8ea7ba22-ac21-11f0-b2c2-525400e13a2b
8
    health: HEALTH_OK
9

10
  services:
11
    mon: 3 daemons, quorum ceph-7,ceph-8,ceph-9 (age 4h)
12
    mgr: ceph-7.popbkv(active, since 4h), standbys: ceph-8.kfvcoz
13
    osd: 3 osds: 3 up (since 4h), 3 in (since 19h)
14

15
  data:
16
    pools:   1 pools, 1 pgs
17
    objects: 2 objects, 449 KiB
18
    usage:   150 MiB used, 60 GiB / 60 GiB avail
19
    pgs:     1 active+clean

`ceph-7`起的容器#

1
root@ceph-7:~# podman ps
2
CONTAINER ID  IMAGE                                                                                      COMMAND               CREATED      STATUS      PORTS       NAMES
3
2bd4fd6a483a  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n client.ceph-ex...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-ceph-exporter-ceph-7
4
42d120151789  quay.io/ceph/ceph:v19                                                                      -n mon.ceph-7 -f ...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-mon-ceph-7
5
a5db98112a20  quay.io/ceph/grafana:10.4.0                                                                                      3 hours ago  Up 3 hours  3000/tcp    ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-grafana-ceph-7
6
0e72941a5b4e  quay.io/prometheus/alertmanager:v0.25.0                                                    --cluster.listen-...  3 hours ago  Up 3 hours  9093/tcp    ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-alertmanager-ceph-7
7
324cb5c52e12  quay.io/ceph/ceph:v19                                                                      -n mgr.ceph-7.pop...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-mgr-ceph-7-popbkv
8
2576ba3a904c  quay.io/prometheus/node-exporter:v1.7.0                                                    --no-collector.ti...  3 hours ago  Up 3 hours  9100/tcp    ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-node-exporter-ceph-7
9
87a65a93a7e8  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n client.crash.c...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-crash-ceph-7
10
138a1a3f1661  quay.io/prometheus/prometheus:v2.51.0                                                      --config.file=/et...  3 hours ago  Up 3 hours  9090/tcp    ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-prometheus-ceph-7
11
9f1c39b13add  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n osd.2 -f --set...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-osd-2

`ceph-8`起的容器#

1
root@ceph-8:~# podman ps
2
CONTAINER ID  IMAGE                                                                                      COMMAND               CREATED      STATUS      PORTS       NAMES
3
e7c63143d5e5  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n client.ceph-ex...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-ceph-exporter-ceph-8
4
827ce0470b9f  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n client.crash.c...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-crash-ceph-8
5
ea52e1f8c1fd  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n mgr.ceph-8.kfv...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-mgr-ceph-8-kfvcoz
6
9cb61bec9b9c  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n mon.ceph-8 -f ...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-mon-ceph-8
7
741980f745ec  quay.io/prometheus/node-exporter:v1.7.0                                                    --no-collector.ti...  3 hours ago  Up 3 hours  9100/tcp    ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-node-exporter-ceph-8
8
edee9219656d  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n osd.0 -f --set...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-osd-0

`ceph-9`起的容器#

1
root@ceph-9:~# podman  ps
2
CONTAINER ID  IMAGE                                                                                      COMMAND               CREATED      STATUS      PORTS       NAMES
3
014b52e4470c  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n mds.cephfs.cep...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-mds-cephfs-ceph-9-quvzuh
4
e86e094c6a6f  quay.io/prometheus/node-exporter:v1.7.0                                                    --no-collector.ti...  3 hours ago  Up 3 hours  9100/tcp    ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-node-exporter-ceph-9
5
44a51e3f2d4e  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n client.ceph-ex...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-ceph-exporter-ceph-9
6
c0041f22227c  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n client.crash.c...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-crash-ceph-9
7
1f0b31944fa4  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n mon.ceph-9 -f ...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-mon-ceph-9
8
46ee87c8d3fe  quay.io/ceph/ceph@sha256:7c69e59beaeea61ca714e71cb84ff6d5e533db7f1fd84143dd9ba6649a5fd2ec  -n osd.1 -f --set...  3 hours ago  Up 3 hours              ceph-8ea7ba22-ac21-11f0-b2c2-525400e13a2b-osd-1

参考资料#

网络文档#

Ceph介绍

https://docs.ceph.com/en/reef/start/

Ceph安装

https://docs.ceph.com/en/reef/cephadm/install/#cephadm-deploying-new-cluster

stackoverflow

https://stackoverflow.com/questions/45012905/removing-pool-mon-allow-pool-delete-config-option-to-true-before-you-can-destro

4.12. 使用命令行界面删除 Ceph 文件系统

https://docs.redhat.com/zh-cn/documentation/red_hat_ceph_storage/4/html/file_system_guide/removing-a-ceph-file-system-using-the-command-line-interface_fs

3.23. 清除 Ceph 存储集群

https://docs.redhat.com/zh-cn/documentation/red_hat_ceph_storage/5/html/installation_guide/purging-the-ceph-storage-cluster_install

Rocky Linux - USTC Mirror Help

https://mirrors.ustc.edu.cn/help/rocky.html

基础概念#

前期操作#

主机信息#

用户名#

主机host文件#

固定IP#

关闭Selinux#

时间同步#

关闭防火墙#

开启root SSH登陆#

国内镜像源#

配置HTTP和HTTPS代理#

安装Ceph#

Ceph管理面板#

添加主机#

添加OSD存储（Object Storage Daemon）#

创建文件系统#

宿主机挂载cephfs#

删除文件系统#

检查文件系统信息#

关闭文件系统#

删除文件系统#

设置mon允许删除pool#

删除pool#

清除 Ceph 存储集群#

回顾一下#

ceph-7的ceph状态#

ceph-7起的容器#

ceph-8起的容器#

ceph-9起的容器#

参考资料#

网络文档#

网络视频#

`ceph-7`的`ceph`状态#

`ceph-7`起的容器#

`ceph-8`起的容器#

`ceph-9`起的容器#