共计 1675 个字符,预计需要花费 5 分钟才能阅读完成。
导读 | 如何利用 crush 来对不同数据指定不同设备的 osd 存储,这边我是用虚拟机演示,所以都是 hdd,这边假设 osd0,2,4 为 ssd 设备,osd 1,3,5 为 sata 设备。 |
在我们的 ceph 集群中,可能不只有 sata 盘或者 ssd 盘,有些时候服务器上同时插了 ssd 和 sata 盘用作 osd,那如果我们按照默认的 crush 分布规则,那会使所有 pg 均分在 ssd 和 sata 盘上,造成 sata 盘的存储空间浪费和整个 ceph 集群的性能浪费,其实我们可以改变 ceph 的默认存储规则,来使那些 io 要求较高的数据存储在由 ssd 的 osd 组成的存储池上,将备份数据或者时效性要求不高的数据存储在由 sata 的 osd 组成的存储池上,既提高了性能,又可以减少较大数据量存储的成本。
下面我们就来演示如何利用 crush 来对不同数据指定不同设备的 osd 存储,这边我是用虚拟机演示,所以都是 hdd,这边假设 osd0,2,4 为 ssd 设备,osd 1,3,5 为 sata 设备。
ceph osd getcrushmap -o crushmapdump
crushtool -d crushmapdump -o crushmapdump-decompiled
编辑 crushmapdump 文件,并在 root default 配置之后添加以下部分,分别创建 ssd 和 sata 两个 bucket,将 osd [0,2,4] 作为 ssd bucket,osd[1,3,5] 作为 sata bucket。
root ssd {
id -5
alg straw
hash 0
item osd.0 weight 0.010
item osd.2 weight 0.010
item osd.4 weight 0.010
}
root sata {
id -6
alg straw
hash 0
item osd.1 weight 0.010
item osd.3 weight 0.010
item osd.5 weight 0.010
}
crush map 包含 crush rule 的概念。每个池都有自己的 crush ruleset 和 rule。
rule ssd-pool {
ruleset 1
type replicated
min_size 1
max_size 10
step take ssd
step chooseleaf firstn 0 type osd
step emit
}
rule sata-pool {
ruleset 2
type replicated
min_size 1
max_size 10
step take sata
step chooseleaf firstn 0 type osd
step emit
}
crushtool -c crushmapdump-decompiled -o crushmapdump-compiled
ceph osd setcrushmap -i crushmapdump-compiled
添加下列参数到 ceph.conf 配置文件中,防止下次重启时 crush 恢复回默认配置。
osd_crush_update_on_start=false
将 crushmap 映射到 ceph 集群后,查看 osd tree 分布,这里由于我是虚拟机,所以所有的磁盘都是别 hdd, 这点请忽略。
创建并验证 ssd-pool。
ceph osd pool create ssd-pool 8 8
查看 crush_rule 为 0。
修改规则集为 1,把 ssd-pool 放到 ssd 磁盘下。
ceph osd pool set ssd-pool crush_rule ssd-pool
可以看到 ssd-pool 的池已经使用 crush_rule 1 了 我们再创建 sata-pool 池,并做上面操作测试,可以看到 sata-pool 的池已经使用 crush_rule 2 了。
rados -p put
现在验证对象是否存储在正确的 osd 上,ssd 的 osd 集合为 [0 2 4],sata 的 osd 集合为 [1,3,5],下图与我们定义的配置完全相同。
![post-qrcode](https://www.xgss.net/wp-content/uploads/2023/07/二维码-微信公众号256x256.jpg)