部署Ceph集群 - inuyume Blog

1461 字

7 分钟

部署Ceph集群

2026-02-10

运维

PVE

/

Ceph

/

Debian

/

Service

1. 前置配置#

使用PVE创建Debian13虚拟机（创建了一个模板克隆出来了三台虚拟机分别为Ceph-1、Ceph-2、Ceph-3）

VMID	Hostname	IP	Hardware	Disk
101	ceph-1	192.168.31.225	4C8G	32G ( System) + 310G( OSD )
102	ceph-2	192.168.31.226	4C8G	32G ( System) + 310G( OSD )
103	ceph-3	192.168.31.227	4C8G	32G ( System) + 310G( OSD )

我这里将一块1T的HDD (TOSHIBA MG03ACA100) 分成三个310G直通给虚拟机作为Ceph的OSD

1
#列举磁盘
2
lsblk -o NAME,SIZE,TYPE,MODEL
3
sda   931.5G disk 硬盘型号 #sdx 中的x代表每个大体都不一样，比如我这里是a，但是一般的sda都是系统盘但是我这是系统盘是sdb，硬盘型号为对应具体的硬盘的硬盘型号
4

5
# 安装parted
6
apt install parted
7

8
# 清空磁盘并建立GPT分区
9
wipefs -a /dev/sda
10
parted /dev/sda --script mklabel gpt
11

12
#划分 3 个 310G 分区
13
parted /dev/sda --script \
14
  mkpart "ceph-data-1" xfs 1MiB 310GiB \
15
  mkpart "ceph-data-2" xfs 310GiB 620GiB \
16
  mkpart "ceph-data-3" xfs 620GiB 930GiB \
17
  mkpart "reserved" xfs 930GiB 100%
18

19
#检查分区情况
20
lsblk /dev/sda
21
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
22
sda      8:0    0 931.5G  0 disk
23
├─sda1   8:1    0   310G  0 part
24
├─sda2   8:2    0   310G  0 part
25
├─sda3   8:3    0   310G  0 part
26
└─sda4   8:4    0   1.5G  0 part
27

28
#获取by-id
29
ls -l /dev/disk/by-id/ | grep sda
30
lrwxrwxrwx 1 root root  9 Feb 10 13:04 (by-id) ->          ../../sda
31
lrwxrwxrwx 1 root root 10 Feb 10 18:27 (by-id)-part1 ->    ../../sda1
32
lrwxrwxrwx 1 root root 10 Feb 10 18:27 (by-id)-part2 ->    ../../sda2
33
lrwxrwxrwx 1 root root 10 Feb 10 18:27 (by-id)-part3 ->    ../../sda3
34
lrwxrwxrwx 1 root root 10 Feb 10 18:27 (by-id)-part4 ->    ../../sda4
35

36
#将分区直通给虚拟机
37
qm set 101 -scsi1 /dev/disk/by-id/(by-id)-part1
38
qm set 102 -scsi1 /dev/disk/by-id/(by-id)-part2
39
qm set 103 -scsi1 /dev/disk/by-id/(by-id)-part3

2. 配置Host并安装cephadm和其他依赖#

1
#设置 hostname
2
#Ceph-1
3
hostnamectl set-hostname ceph-1
4
#Ceph-2
5
hostnamectl set-hostname ceph-2
6
#Ceph-3
7
hostnamectl set-hostname ceph-3
8

9
#修改Hosts文件
10
nano /etc/hosts
11
192.168.31.225  ceph-1
12
192.168.31.226  ceph-2
13
192.168.31.227  ceph-3
14
#请同时修改127.0.1.1的host
15

16
#时间同步
17
apt update && apt install chrony
18
systemctl enable --now chrony
19

20
#安装cephadm和llvm
21
apt update && apt install cephadm #在管理节点执行，我这里管理节点是ceph-1，也可以同时安装ceph-common
22
#在其他节点执行
23
apt install -y podman lvm2 #podman可以换成docker

3. 引导集群 (Bootstrap)#

1
#在管理节点
2
cephadm bootstrap \
3
  --mon-ip 192.168.31.225 \
4
  --initial-dashboard-user admin \
5
  --initial-dashboard-password 'StrongPass123!'
6
#可以使用--image quay.io/ceph/ceph:v19 指定镜像版本 默认为quay.io/ceph/ceph:v18
7
#也可不指定 initial-dashboard-user 和 initial-dashboard-password
8
#如果 hostname -f 和 hostname -s 输出的结果不同可加上 --allow-fqdn-hostname 参数

4. 分发SSH公钥#

1
#可以将管理节点上的 /etc/ceph/ceph.pub 追加到其他节点的 /root/.ssh/authorized_keys 中
2
#也可以使用 ssh-copy-id
3
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-2
4
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-3

5. 将节点添加到集群#

1
#进入 Ceph Shell
2
cephadm shell
3

4
#添加主机
5
ceph orch host add ceph-2 192.168.31.226
6
ceph orch host add ceph-3 192.168.31.227
7

8
#验证主机列表
9
ceph orch host ls
10
HOST    ADDR            LABELS  STATUS
11
ceph-1  192.168.31.225  _admin
12
ceph-2  192.168.31.226
13
ceph-3  192.168.31.227
14

15
#退出Ceph Shell
16
exit

6. 添加存储 (OSD)#

1
#进入 Ceph Shell
2
cephadm shell
3

4
#方式A：一键添加所有可用磁盘，这会将所有节点上空的、未分区的磁盘都做成 OSD
5
ceph orch apply osd --all-available-devices
6
#方式B：指定特定磁盘，精确控制，例如只使用 ceph-1 的 /dev/sdb 请按照实际情况调整
7
ceph orch daemon add osd ceph-1:/dev/sdb
8
ceph orch daemon add osd ceph-2:/dev/sdb
9
ceph orch daemon add osd ceph-3:/dev/sdb
10

11
#查看 OSD 状态
12
ceph osd tree
13
ID  CLASS  WEIGHT   TYPE NAME        STATUS  REWEIGHT  PRI-AFF
14
-1         0.90807  root default
15
-3         0.30269      host ceph-1
16
 0    hdd  0.30269          osd.0        up   1.00000  1.00000
17
-5         0.30269      host ceph-2
18
 1    hdd  0.30269          osd.1        up   1.00000  1.00000
19
-7         0.30269      host ceph-3
20
 2    hdd  0.30269          osd.2        up   1.00000  1.00000

7. 部署服务 (MDS, RGW 等)#

1
#部署 CephFS (文件存储)
2
ceph orch apply mds fs_name --placement="3 ceph-1 ceph-2 ceph-3"
3

4
#部署 RGW (对象存储)
5
ceph orch apply rgw realm_name --placement="3 ceph-1 ceph-2 ceph-3"

8. 创建存储池#

在 Ceph 中创建存储池（Pool）通常分为两个步骤：创建池 和 指定应用类型。

创建一个通用存储池 (最常用) 这是最基础的创建方式，适用于大多数情况（如 RBD 块存储）。
1. 创建池默认情况下，Ceph 使用3副本模式。
  Terminal window
```
1
# 语法: ceph osd pool create <池名字>
2
ceph osd pool create mypool
```
2. 初始化应用类型如果不执行这一步，集群会显示 HEALTH_WARN，提示 application not enabled on 1 pool(s)。
  
  你需要告诉 Ceph 这个池是用来干什么的：
  - rbd: 虚拟机、块设备
  - cephfs: 文件系统
  - rgw: 对象存储
  Terminal window
```
1
# 语法: ceph osd pool application enable <池名字> <应用类型>
2
ceph osd pool application enable mypool rbd
```

为 CephFS 创建存储池

部署 CephFS（文件系统），必须至少创建两个池：一个用于存储数据，一个用于存储元数据。

1
# 1. 创建数据池
2
ceph osd pool create cephfs_data
3
ceph osd pool application enable cephfs_data cephfs
4

5
# 2. 创建元数据池
6
ceph osd pool create cephfs_metadata
7
ceph osd pool application enable cephfs_metadata cephfs
8

9
# 3. 创建文件系统 (关联这两个池)
10
# 语法: ceph fs new <fs_name> <metadata_pool> <data_pool>
11
ceph fs new myfs cephfs_metadata cephfs_data

修改副本数 (适用于小规模集群)

默认的 Ceph 池配置是 Size=3 (存3份数据) 且 Min_size=2 (最少2份数据才允许写)。

如果你只有 1 台或 2 台 OSD 节点，默认配置会导致集群无法达到 HEALTH_OK 甚至无法写入。需要修改副本数：
Terminal window
```
1
# 只有 1 个节点/OSD 的测试环境：
2
ceph osd pool set mypool size 1
3
ceph osd pool set mypool min_size 1
4

5
# 只有 2 个节点/OSD 的环境：
6
ceph osd pool set mypool size 2
7
ceph osd pool set mypool min_size 1
```

9. 常用管理命令#

1
#查看所有池
2
ceph osd pool ls detail
3

4
# 或者查看更详细的使用情况：
5
ceph df
6

7
#删除存储池，为了防止误删，Ceph 默认禁止删除池。必须先允许删除，再执行删除操作。
8
#允许删除 (临时的)
9
ceph tell mon.* injectargs --mon_allow_pool_delete=true
10

11
#删除池 (需要重复确认池名字)
12
# 语法: ceph osd pool delete <池名> <池名> --yes-i-really-really-mean-it
13
ceph osd pool delete mypool mypool --yes-i-really-really-mean-it
14

15
#验证操作，创建完成后，检查集群状态：
16
ceph -s
17
#只要没有 PGs are degraded/undersized 之类的错误，且状态为 HEALTH_OK，说明池创建成功且数据分布正常。
18

19
#升级ceph
20
#可选备份
21
cp /etc/ceph/ceph.conf /etc/ceph/ceph.conf.bak
22
cp /etc/ceph/ceph.pub /etc/ceph/ceph.pub.bak
23
#例如从18升级到19SS
24
ceph orch upgrade start --image quay.io/ceph/ceph:v19
25
ceph osd require-osd-release squid #启用新特新，启用后无法回滚降级