共计 4883 个字符,预计需要花费 13 分钟才能阅读完成。
导读 | 虚拟数据优化器(VDO)是一种块虚拟化技术,可提供透明的数据重复删除功能。通过消除冗余的数据块,VDO 可以大大减少实际使用的磁盘容量。 |
VDO 由两个内核模块和两个命令组成:
由下面两个内核模块组成:
- kvdo – 该模块加载到设备管理器层,提供用于重复数据删除的块存储卷。
- uds – 该模块负责与 VDO 磁盘上的通用的重复数据删除索引进行通信。
包括两个命令行工具:
- vdo – 用于创建,删除,启动和停止 VDO 卷,以及执行其他配置操作。
- vdostats – 用于报告 VDO 卷的各个方面,包括有效的减少和物理卷的利用率。
Centos8
下面命令安装 vdo 和相关依赖,安装完成之后重启系统:
[root@localhost ~]# yum -y install vdo
[root@localhost ~]# reboot
确保有一个空余磁盘或分区可供 VDO 使用。尽管可以在 LVM 逻辑卷上面创建 VDO 卷,但是重新引导系统时会出现引导顺序问题。所以再裸盘上面创建 vdo 卷之后在它之上创建 LVM 逻辑卷。
下面使用一块 20GB 的磁盘,/dev/sda 做 vdo 卷
下面创建 vdo 卷:
[root@localhost ~]# vdo create --name=vdolvm --device /dev/sda --vdoLogicalSize 60G --writePolicy async
Creating VDO vdolvm
The VDO volume can address 16 GB in 8 data slabs, each 2 GB.
It can grow to address at most 16 TB of physical storage in 8192 slabs.
If a larger maximum size might be needed, use bigger slabs.
Starting VDO vdolvm
Starting compression on VDO vdolvm
VDO instance 0 volume is ready at /dev/mapper/vdolvm
下面分解一下命令,看看所使用的选项:
- –device – 指定在哪个硬盘上创建 vdo 卷
- –vdoLogicalSize – 这里我们指定了容量大小为 60G,比我们实际磁盘 20G 大了许多。假设我们将从重复数据删除中至少得到 3:1 的减少,对于大多数的数据,这是相当保守的,但如果你的数据没有很多重复的,那么比率应该是不同的。日志文件和其他纯文本文件通常可以很好地进行重复数据删除,可能会得到 10:1 甚至更高的重复数据删除率。但是二进制文件,如视频、音频或压缩包,将远远低于 3:1,甚至在某些情况下 1:1。这种情况下不建议使用 vdo 卷。
- –writePolicy – vdo 有三种写策略:
sync:
只有在数据写入物理设备后,才会确认对 VDO 卷的写入。async:
在数据写入缓存后被确认。如果在设备故障或掉电之前没有刷新缓存,可能会导致数据丢失。auto:
在这种默认模式下,VDO 将检查存储设备并确定它是否支持刷新。如果是这样,VDO 将使用异步模式。如果没有,它将使用同步模式。
正如我们在上一步的输出中看到的,VDO 创建了一个名为 /dev/mapper/vdolvm 的新 dm 设备。当我们创建 lvm 卷组时,这就是我们将要使用的设备。
[root@localhost ~]# ll /dev/mapper/vdolvm
lrwxrwxrwx 1 root root 7 Mar 4 13:31 /dev/mapper/vdolvm -> ../dm-2
让我们看看使用 vdostats 可以获得有关 vdo 卷的什么样的信息:
[root@localhost ~]# vdostats --hu
Device Size Used Available Use% Space saving%
/dev/mapper/vdolvm 20.0G 4.0G 16.0G 20% N/A
由于我们尚未将任何数据写入该卷,因此 Space saving%
字段为N/A
。稍后我们将写一些数据时,在此处看到更多有用的信息。
可以看到上图中,我们还没有写任何数据,但是已经有 4GB,20%的空间正在使用中了!这是因为“通用重复数据删除索引”已被写入磁盘。这基本上是一个数据库,用于记录 slab 指纹及其位置。这就是使重复数据删除成为可能的原因。
现在我们已经创建了 VDO 设备,我们可以对其进行分区并格式化,或者在这个 vod 卷上面创建 lvm 逻辑卷。下面我们创建逻辑卷:
# 创建物理卷
[root@localhost ~]# pvcreate /dev/mapper/vdolvm
Physical volume "/dev/mapper/vdolvm" successfully created.
# 创建卷组 vdo_vg
[root@localhost ~]# vgcreate vdo_vg /dev/mapper/vdolvm
Volume group "vdo_vg" successfully created
# 查看 vdo_vg 卷组的信息
[root@localhost ~]# vgdisplay vdo_vg
--- Volume group ---
VG Name vdo_vg
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 1
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 0
Open LV 0
Max PV 0
Cur PV 1
Act PV 1
VG Size <60.00 GiB
PE Size 4.00 MiB
Total PE 15359
Alloc PE / Size 0 / 0
Free PE / Size 15359 / <60.00 GiB
VG UUID qfPiH6-eMCU-Z6kr-eeCu-jd0J-8lmf-49daZX
从上面可以看到,lvm 认为我们的基础磁盘为 120GB,尽管我们知道它只有 40GB。由于 LVM 不知道 VDO 后端磁盘的大小。
现在,让我们创建几个逻辑卷吧:
[root@localhost ~]# lvcreate -n vdo_lv01 -L 15G vdo_vg
[root@localhost ~]# lvcreate -L 15G -n vdo_lv02 vdo_vg
[root@localhost ~]# lvcreate -L 15G -n vdo_lv03 vdo_vg
# 查看创建好的逻辑卷
[root@localhost ~]# lvs -o +devices
通常,创建文件系统后,它将在设备上运行 Trim
操作。使用 VDO 时,这不是理想的选择,因为磁盘容量是按需分配的。因此,我们要告诉 mkfs 在文件系统创建过程中不要丢弃块。对于 XFS,请使用 -K
选项。对于 EXT4,请使用-E nodiscard
。下面使用了一个 for 循环,将三个逻辑卷格式化为 XFS 文件系统:
[root@localhost ~]# for i in `seq 1 3`; do mkfs.xfs -K /dev/vdo_vg/vdo_lv0$i ; done
meta-data=/dev/vdo_vg/vdo_lv01 isize=512 agcount=4, agsize=983040 blks
= sectsz=4096 attr=2, projid32bit=1
= crc=1 finobt=1, sparse=1, rmapbt=0
= reflink=1
data = bsize=4096 blocks=3932160, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0, ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=4096 sunit=1 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
meta-data=/dev/vdo_vg/vdo_lv02 isize=512 agcount=4, agsize=983040 blks
= sectsz=4096 attr=2, projid32bit=1
= crc=1 finobt=1, sparse=1, rmapbt=0
= reflink=1
data = bsize=4096 blocks=3932160, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0, ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=4096 sunit=1 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
meta-data=/dev/vdo_vg/vdo_lv03 isize=512 agcount=4, agsize=983040 blks
= sectsz=4096 attr=2, projid32bit=1
= crc=1 finobt=1, sparse=1, rmapbt=0
= reflink=1
data = bsize=4096 blocks=3932160, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0, ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=4096 sunit=1 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
当我们将新文件系统挂载到挂载点时,我们要告诉 XFS 放弃块,因为这将大大加快文件删除的速度。
[root@localhost ~]# mkdir -p /data/{01..03}
[root@localhost ~]# for i in `seq 1 3`; do mount -o discard /dev/vdo_vg/vdo_lv0$i /data/0$i; done
现在,我们向设备写入了少量数据,我们可以再次检查 VDO 卷以查看情况是否已更改。
[root@localhost ~]# vdostats --hu
Device Size Used Available Use% Space saving%
/dev/mapper/vdolvm 20.0G 4.0G 16.0G 20% 86%
下面将三个逻辑卷设置为开机启动,需要在 fstab 文件中添加 x-systemd.device-timeout=0
和x-systemd.requires=vdo.service
。
使用 blkid
查看这三个逻辑卷的 UUID。
使用上面获取到的 UUID,添加在 /etc/fstab 文件中:
[root@localhost systemd]# vim /etc/fstab
UUID="bd2c1c61-4656-4065-b5a0-3ca53ef0f949" /data/01 xfs defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0
UUID="1e53579b-f1da-4f77-80e6-d61a40515525" /data/02 xfs defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0
UUID="d41bf7e2-bf75-4db7-b323-a923375f6a6e" /data/03 xfs defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0
虚拟数据优化器(VDO)是一种块虚拟化技术,可提供透明的数据重复删除功能。通过消除冗余的数据块,VDO 可以大大减少实际使用的磁盘容量。
![post-qrcode](https://www.xgss.net/wp-content/uploads/2023/07/二维码-微信公众号256x256.jpg)