QEMU-KVM中的多线程压缩迁移技术

共计 2457 个字符，预计需要花费 7 分钟才能阅读完成。

使用带压缩技术的迁移后，传输的数据总量会减少 60%，总迁移时间减少 70%+，同时宕机时间减少 50% 以上。一方面，压缩 / 解压缩的过程会消耗 CPU 周期而加大了迁移的时间；另一方面，总传输数据量的锐减，又会减少迁移时间。为了能够进行高速的压缩，本技术中使用了多线程并发的方式，提高压缩的目前虚拟机中，使用 ZLIB 完成压缩 / 解压缩的工作。

在 CPU 相同的情况下，ZLIB 官方给出，解压缩的速度是压缩速度的 4 倍。也就是说，如果迁移的源端和目的端处理器相同的情况下，使得压缩线程数量是解压缩线程数量的 4 倍就可以在资源消耗最小的情况下，取得最优的压缩为了更多的适应网络状况，虚拟机中引入了压缩级别 — Compression level。Compression level 可以用来控制压缩速率和压缩比例。高的压缩比率会消耗更多的时间，level 0 就代表不进行压缩，1 级代表最优的压缩速率，9 级代表了最好的压缩比率(最多的压缩时间)。我们可以选择从 0 级到 9 级中的任意一个级别。

压缩 / 解压缩时间将会消耗 CPU 周期。所以，如果整个系统 CPU 都被压得非常满的情况下，避免使用这个特性。当网络带宽有限，CPU 资源又足够充足的情况下，使用多线程压缩动态迁移技术会带来比较好的效果。当网络充足且 CPU 资源充足的情况下，使用本技术也将会减少总迁移时间。

1. 启动虚拟机

/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda ./disk0.img -m 2048 -vnc 192.168.2.106:0 -monitor stdio

2. 使能源端多线程压缩动态迁移技术

a.) migrate_set_capabilitycompress on // 使能压缩
b.) migrate_set_parametercompress-threads 12 //12 个压缩线程
c.) migrate_set_parametercompress-level 1 // 压缩级别为 1 级

3. 开始迁移

migrate -d tcp:192.168.2.105:6666

1. 启动虚拟机

/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda /home/kvm/vm/disk/disk0.img -m 2048 -vnc 192.168.2.105:0 -monitor stdio -incoming tcp:192.168.2.105:6666

2. 使能目的端多线程压缩动态迁移技术

a.) migrate_set_capabilitycompress on
b.) migrate_set_parametercompress-level 1
c.) migrate_set_parameterdecompress-threads 3 // 3 个压缩线程

3. 等待迁移完成

CPU: Intel(R) Xeon(R) CPU E5-2650 v3 @2.30GHz
Logic core: 40
Socket : 2
RAM: 128G
NIC: 1000baseT/Full
Host OS: CentOSLinux release 7.2.1511 (Core) 64-bit
Guest OS: CentOS Linux release 7.2.1511 (Core) 64-bit

效果：总的迁移时间减少 50%；downtime 时间减少 35%

效果：总迁移时间减少了 200%,downtime 时间减少了 800%

虚拟机实现代码分析如下(本分析基于：QEMU 2.5)：

有 migration_thread()进行迁移工作，在 iterator 和 complete 阶段，如果发现使能了多线程压缩技术，则通过 compress_page_with_multi_thread()完成数据的压缩和发送

最终在 compress_page_with_multi_thread()中激活压缩线程，通过 zlib 的 compress2()函数完成数据的压缩，并通过 QEMU-FILE 发送

1. 压缩算法

a. 目前使用的是开源 zlib 库完成压缩，还有其他压缩库的压缩方式可以提供，以便适应更多的场景

b. 商业压缩库有着更好的效率

c. 通过 FPGA 进行硬件辅助压缩

2. 压缩策略

a. 虚拟机迁移算法自适应所有网络，对网络进行测试（是否满足上面的公式），然后形成反馈因子输入到迁移算法中，迁移算法根据反馈因子决定使用的压缩算法、压缩级别或者根本不压缩，达到在所有网络状况下而缩短 downtime 的目的。

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年，有高配

腾讯云新客低至 82 元 / 年，老客户 99 元 / 年

代金券：在阿里云专用满减优惠券