MySQL备份之mydumper入门学习

共计 12210 个字符，预计需要花费 31 分钟才能阅读完成。

MySQL 在备份方面包含了自身的 mysqldump 工具，但其只支持单线程工作，这就使得它无法迅速的备份数据。而 mydumper 作为一个实用工具，能够良好支持多线程工作，这使得它在处理速度方面十倍于传统的 mysqldump。其特征之一是在处理过程中需要对列表加以锁定，因此如果我们需要在工作时段执行备份工作，那么会引起 DML 阻塞。但一般现在的 MySQL 都有主从，备份也大部分在从上进行，所以锁的问题可以不用考虑。这样，mydumper 能更好的完成备份任务。

### 更新（2016-04-01）###

注意：mydumper 的多线程备份是基于表的，所以当只有一张表或 99 张是小表，1 张是超级大表，mydumper 不如 mysqldump，甚至更慢。其实 mydumper 是支持对一张表多个线程备份的，参数 -r。

Mydumper 主要特性：是一个针对 MySQL 和 Drizzle 的高性能多线程备份和恢复工具，开发人员主要来自 MySQL,Facebook,SkySQL 公司。

    1：轻量级 C 语言写的
    2：执行速度比 mysqldump 快 10 倍
    3：事务性和非事务性表一致的快照(适用于 0.2.2 以上版本)
    4：快速的文件压缩
    5：支持导出 binlog
    6：多线程恢复(适用于 0.2.1 以上版本)
    7：以守护进程的工作方式，定时快照和连续二进制日志(适用于 0.5.0 以上版本)
    8：开源 (GNU GPLv3)

下载安装：

环境：Ubuntu 12.04

下载：

wget https://launchpad.net/mydumper/0.5/0.5.2/+download/mydumper-0.5.2.tar.gz

安装：解压后，在 README 中安装说明

apt-get install cmake make  libglib2.0-dev libmysqlclient15-dev zlib1g-dev libpcre3-dev g++

cmake .
make

root@dd:~/mydumper-0.5.2# cmake .
-- The CXX compiler identification is GNU
-- Check for working CXX compiler: /usr/bin/c++
-- Check for working CXX compiler: /usr/bin/c++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Using mysql-config: /usr/bin/mysql_config
-- Found MySQL: /usr/include/mysql, /usr/lib/x86_64-linux-gnu/libmysqlclient_r.so;/usr/lib/x86_64-linux-gnu/libpthread.so;/usr/lib/x86_64-linux-gnu/libz.so;/usr/lib/x86_64-linux-gnu/libm.so;/usr/lib/x86_64-linux-gnu/librt.so;/usr/lib/x86_64-linux-gnu/libdl.so

CMake Warning at docs/CMakeLists.txt:9 (message):
  Unable to find Sphinx documentation generator


-- ------------------------------------------------
-- MYSQL_CONFIG = /usr/bin/mysql_config
-- CMAKE_INSTALL_PREFIX = /usr/local
-- BUILD_DOCS = ON
-- RUN_CPPCHECK = OFF
-- Change a values with: cmake -D<Variable>=<Value>
-- ------------------------------------------------
-- 
-- Configuring done
-- Generating done
-- Build files have been written to: /root/mydumper-0.5.2
root@dd:~/mydumper-0.5.2# make
Scanning dependencies of target mydumper
[20%] Building C object CMakeFiles/mydumper.dir/mydumper.c.o
[40%] Building C object CMakeFiles/mydumper.dir/binlog.c.o
[60%] Building C object CMakeFiles/mydumper.dir/server_detect.c.o
[80%] Building C object CMakeFiles/mydumper.dir/g_unix_signal.c.o
Linking C executable mydumper
[80%] Built target mydumper
Scanning dependencies of target myloader
[100%] Building C object CMakeFiles/myloader.dir/myloader.c.o
Linking C executable myloader
[100%] Built target myloader

View Code

生成 2 个工具：mydumper（备份），myloader（导入），放入到 bin 目录下。

参数：

mydumper（0.5.2）：

root@dd:~/mydumper-0.5.2# ./mydumper --help
Usage:
  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:
  -?, --help                  Show help options

Application Options:
  -B, --database              需要备份的库
  -T, --tables-list           需要备份的表，用逗号分隔
  -o, --outputdir             输出文件的目录
  -s, --statement-size        生成插入语句的字节数, 默认 1000000，这个参数不能太小，不然会报 Row bigger than statement_size for tools.t_serverinfo
  -r, --rows                  分裂成很多行块表
  -c, --compress              压缩输出文件
  -e, --build-empty-files     即使表没有数据，还是产生一个空文件
  -x, --regex                 正则表达式: 'db.table'
  -i, --ignore-engines        忽略的存储引擎，用逗号分隔
  -m, --no-schemas            不导出表结构
  -k, --no-locks              不执行共享读锁 警告：这将导致不一致的备份
  -l, --long-query-guard      设置长查询时间, 默认 60 秒，超过该时间则会报错：There are queries in PROCESSLIST running longer than 60s, aborting dump

  --kill-long-queries         kill 掉长时间执行的查询
  -b, --binlogs               导出 binlog
  -D, --daemon                启用守护进程模式
  -I, --snapshot-interval     dump 快照间隔时间，默认 60s，需要在 daemon 模式下
  -L, --logfile               日志文件
  -h, --host                  The host to connect to
  -u, --user                  Username with privileges to run the dump
  -p, --password              User password
  -P, --port                  TCP/IP port to connect to
  -S, --socket                UNIX domain socket file to use for connection
  -t, --threads               使用的线程数，默认 4
  -C, --compress-protocol     在 mysql 连接上使用压缩协议
  -V, --version               Show the program version and exit
  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

myloader（0.5.2）：

root@dd:~/mydumper-0.5.2# ./myloader --help
Usage:
  myloader [OPTION...] multi-threaded MySQL loader

Help Options:
  -?, --help                        Show help options

Application Options:
  -d, --directory                   备份文件所在的目录
  -q, --queries-per-transaction     每次执行查询数量, 默认 1000
  -o, --overwrite-tables            如果表存在则先删除。这里注意下，使用该参数，需要备份时候要备份表结构，不然会出问题
  -B, --database                    指定需要还原的数据库
  -e, --enable-binlog               启用二进制恢复数据
  -h, --host                        The host to connect to
  -u, --user                        Username with privileges to run the dump
  -p, --password                    User password
  -P, --port                        TCP/IP port to connect to
  -S, --socket                      UNIX domain socket file to use for connection
  -t, --threads                     使用的线程数量，默认 4
  -C, --compress-protocol           连接上使用压缩协议
  -V, --version                     Show the program version and exit
  -v, --verbose                     更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

### 更新（2016-04-01）###

上面介绍的是 0.5.2 版本，目前版本已经更新到了 0.9.1，新增了一些参数，现在对新参数了解一下：

mydumper（0.9.1）：

root@op3:/home/linuxidc# mydumper  --help
Usage:
  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:
  -?, --help                  Show help options

Application Options:
  -B, --database              需要备份的数据库，一个数据库一条命令备份，要不就是备份所有数据库，包括 mysql。-T, --tables-list           需要备份的表，用逗号分隔。-o, --outputdir             备份文件目录
  -s, --statement-size        生成插入语句的字节数，默认 1000000，这个参数不能太小，不然会报 Row bigger than statement_size for tools.t_serverinfo
  -r, --rows                  试图用行块来分割表，该参数关闭 --chunk-filesize
  -F, --chunk-filesize        行块分割表的文件大小，单位是 MB
  -c, --compress              压缩输出文件
  -e, --build-empty-files     即使表没有数据，也产生一个空文件
  -x, --regex                 正则表达式匹配，如'db.table'
  -i, --ignore-engines        忽略的存储引擎，用逗号分隔 
  -m, --no-schemas            不导出表结构
  -d, --no-data               不导出表数据
  -G, --triggers              导出触发器
  -E, --events                导出事件
  -R, --routines              导出存储过程
  -k, --no-locks              不执行共享读锁 警告：这将导致不一致的备份
  --less-locking              减到最小的锁在 innodb 表上.
  -l, --long-query-guard      设置长查询时间, 默认 60 秒，超过该时间则会报错：There are queries in PROCESSLIST running longer than 60s, aborting dump

  -K, --kill-long-queries kill 掉长时间执行的查询，备份报错：Lock wait timeout exceeded; try restarting transaction

  -D, --daemon                启用守护进程模式
  -I, --snapshot-interval     dump 快照间隔时间，默认 60s，需要在 daemon 模式下
  -L, --logfile               使用日志文件，默认标准输出到终端
  --tz-utc                    备份的时候允许备份 Timestamp，这样会导致不同时区的备份还原会出问题，默认关闭，参数：--skip-tz-utc to disable.
  --skip-tz-utc               
  --use-savepoints            使用保存点记录元数据的锁信息，需要 SUPER 权限
  --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
  --lock-all-tables           锁全表，代替 FLUSH TABLE WITH READ LOCK
  -U, --updated-since         Use Update_time to dump only tables updated in the last U days
  --trx-consistency-only      Transactional consistency only
  -h, --host                  The host to connect to
  -u, --user                  Username with privileges to run the dump
  -p, --password              User password
  -P, --port                  TCP/IP port to connect to
  -S, --socket                UNIX domain socket file to use for connection
  -t, --threads               备份执行的线程数, 默认 4 个线程
  -C, --compress-protocol     在 mysql 连接上使用压缩协议
  -V, --version               Show the program version and exit
  -v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

加粗部分是新增加的参数。

myloader（0.9.1）：

root@op:~# myloader --help
Usage:
  myloader [OPTION...] multi-threaded MySQL loader

Help Options:
  -?, --help                        Show help options

Application Options:
  -d, --directory                   备份文件所在的目录
  -q, --queries-per-transaction     每个事务的 query 数量, 默认 1000
  -o, --overwrite-tables            如果表存在则先删除，使用该参数，需要备份时候要备份表结构，不然还原会找不到表
  -B, --database                    指定需要还原的数据库
  -s, --source-db                   还原的数据库
  -e, --enable-binlog               启用二进制日志恢复数据
  -h, --host                        The host to connect to
  -u, --user                        Username with privileges to run the dump
  -p, --password                    User password
  -P, --port                        TCP/IP port to connect to
  -S, --socket                      UNIX domain socket file to use for connection
  -t, --threads                     使用的线程数量，默认 4
  -C, --compress-protocol           连接上使用压缩协议
  -V, --version                     Show the program version and exit
  -v, --verbose                     更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

加粗部分是新增加的参数。

测试：测试基本用法

1: 备份

./mydumper -u zjy -p ##### -h 192.168.220.245 -P 3306 -B chushihua -o /home/linuxidc/bak/

备份 analyzedxy 数据库到 /home/linuxidc/bak/ 目录中，查看是否多线程：

| 4937639 | zjy  | 192.168.200.25:34781  | NULL| Query   |      0 | NULL              | show processlist |
| 4937677 | zjy  | 192.168.200.25:34791  | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */|
| 4937678 | zjy  | 192.168.200.25:34792  | NULL| Query   |      5 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */ |
| 4937679 | zjy  | 192.168.200.25:34793  | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */ |
| 4937680 | zjy  | 192.168.200.25:34794  | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */ |

上面显示确实是 4 个线程（默认） 在备份，查看备份文件：

root@linuxidc:/home/linuxidc/bak# ls -lh
-rw-r--r-- 1 root root  322 2013-11-14 17:59 chushihua.dba_hospital_all_name-schema.sql
-rw-r--r-- 1 root root  16M 2013-11-14 17:59 chushihua.dba_hospital_all_name.sql
-rw-r--r-- 1 root root  221 2013-11-14 17:59 chushihua.dba_hospital-schema.sql
-rw-r--r-- 1 root root  658 2013-11-14 17:59 chushihua.dba_hospital.sql
-rw-r--r-- 1 root root  198 2013-11-14 17:59 chushihua.dba_jobTitle-schema.sql
-rw-r--r-- 1 root root  300 2013-11-14 17:59 chushihua.dba_jobTitle.sql
-rw-r--r-- 1 root root  261 2013-11-14 17:59 chushihua.dba_locatedCity-schema.sql
-rw-r--r-- 1 root root 202K 2013-11-14 17:59 chushihua.dba_locatedCity.sql

分析：mydumper 把数据和表结构分开备份，并且把二进制日志备份出来单独放到一个文件中。

metadata:元数据 记录备份开始和结束时间，以及 binlog 日志文件位置。table data:每个表一个文件 
table schemas: 表结构文件
binary logs: 启用 --binlogs 选项后，二进制文件存放在 binlog_snapshot 目录下
daemon mode: 在这个模式下，有五个目录 0，1，binlogs，binlog_snapshot，last_dump。备份目录是 0 和 1，间隔备份，如果 mydumper 因某种原因失败而仍然有一个好的快照，当快照完成后，last_dump 指向该备份。

2：还原：还原到另一台服务器，先建立要还原的数据库(chushihua)

./myloader -u root -p 123456 -h 192.168.200.25 -P 3307 -B chushihua -d /home/linuxidc/bak/

和备份一样查看 是否多线程：

| 19 | root        |      | NULL      | Query   |     0 | init  | show   processlist|
| 30 | root        |      | chushihua | Query   |     5 | update| INSERT INTO       |
| 31 | root        |      | chushihua | Query   |     5 | update| INSERT INTO       |
| 32 | root        |      | chushihua | Query   |     5 | update| INSERT INTO       |
| 33 | root        |      | chushihua | Query   |     5 | update| INSERT INTO       |

上面显示确实是 4 个线程（默认） 在还原。

进一步测试：测试一些常用的参数

1）：备份指定表（-T），并且不要导出表结构（-m）

./mydumper -u root-p 123456 -h 192.168.220.252 -P 3306 -m -B test -T b,a,c,d,e,g,f,h,i -o /home/linuxidc/bak/

linuxidc@linuxidc:~/bak$ ls -lh
-rw-rw-r-- 1 linuxidc linuxidc 3.4K 2013-11-14 20:57 test.a.sql
-rw-rw-r-- 1 linuxidc linuxidc 1.6M 2013-11-14 20:57 test.b.sql
-rw-rw-r-- 1 linuxidc linuxidc 7.8M 2013-11-14 20:57 test.c.sql
-rw-rw-r-- 1 linuxidc linuxidc 1.7M 2013-11-14 20:57 test.d.sql
-rw-rw-r-- 1 linuxidc linuxidc 303K 2013-11-14 20:57 test.e.sql
-rw-rw-r-- 1 linuxidc linuxidc 517K 2013-11-14 20:57 test.f.sql
-rw-rw-r-- 1 linuxidc linuxidc 646K 2013-11-14 20:57 test.g.sql
-rw-rw-r-- 1 linuxidc linuxidc 394K 2013-11-14 20:57 test.h.sql
-rw-rw-r-- 1 linuxidc linuxidc  34K 2013-11-14 20:57 test.i.sql
-rw-rw-r-- 1 linuxidc linuxidc   75 2013-11-14 20:57 metadata

2）压缩备份文件（-c），备份 binlog（-b），正则表达式备份表（-x）

./mydumper -u root -p 123456 -h 192.168.200.25 -P 3306 -m -c -b --regex=tmp.* -B test  -o /home/linuxidc/bak/

drwx------ 2 linuxidc linuxidc 4.0K 2013-11-14 21:16 binlog_snapshot
-rw-rw-r-- 1 linuxidc linuxidc  133 2013-11-14 21:16 metadata
-rw-rw-r-- 1 linuxidc linuxidc  94K 2013-11-14 21:16 test.tmp_0808.sql.gz
-rw-rw-r-- 1 linuxidc linuxidc  75K 2013-11-14 21:16 test.tmp_0809.sql.gz
-rw-rw-r-- 1 linuxidc linuxidc  25K 2013-11-14 21:16 test.tmp_0813.sql.gz
-rw-rw-r-- 1 linuxidc linuxidc 208K 2013-11-14 21:16 test.tmp_0826.sql.gz
-rw-rw-r-- 1 linuxidc linuxidc  915 2013-11-14 21:16 test.tmp_0827.sql.gz
-rw-rw-r-- 1 linuxidc linuxidc  901 2013-11-14 21:16 test.tmp_0912.sql.gz
-rw-rw-r-- 1 linuxidc linuxidc 2.1K 2013-11-14 21:16 test.tmp_0916.sql.gz
-rw-rw-r-- 1 linuxidc linuxidc 622K 2013-11-14 21:16 test.tmp_0918_a.sql.gz
-rw-rw-r-- 1 linuxidc linuxidc  28M 2013-11-14 21:16 test.tmp_0918_ff.sql.gz

如上所示，备份文件已经是压缩的了（用 gzip -d 解压），并且备份出了 tmp.* 匹配出来的所有表，二进制日志也被备份到了 binlog_snapshot 文件中，并且也是被压缩的。

### 更新（2016-04-01）###

新版本里已经 不能备份 binlog了，没有 - b 参数。这里说明下 备份指定数据库 的方法：–regex 正则匹配

# 指定备份数据库：备份 abc、bcd、cde
mydumper -u backup -p 123456  -h 192.168.180.13 -P 3306 -t 3 -c -l 3600 -s 10000000 -e --regex 'abc|bcd|cde' -o bbb/

#指定不备份的数据库：不备份 abc、mysql、test，备份其他数据库 
mydumper -u backup -p 123456  -h 192.168.180.13 -P 3306 -t 3 -c -l 3600 -s 10000000 -e --regex '^(?!(abc|mysql|test))' -o bbb/

3）还原，表存在先删除（-o）：这里需要注意，使用该参数，备份目录里面需要有表结构的备份文件。

./myloader -u root -p 123456 -h 192.168.200.25 -P 3306 -o -B test -d /home/linuxidc/bak/

更多的参数效果，请自己测试。

最后测试：用 mysqldump 和 mydumper 进行对比测试。

#!/usr/bin/env Python
#coding=utf-8
import MySQLdb
import os
import sys
import time

backup = os.system('')

def mysqldump_data():
    t1 = time.time()
    backup = os.system('mysqldump --no-defaults -uroot -p123456 -h192.168.200.25 --default-character-set=utf8 test > /home/linuxidc/test.bak')
    t2 = time.time()
    t = round(t2-t1)
    print "mysqldump Cost Time %s" %t

def mydumper_data():
    t1 = time.time()
    backup = os.system('mydumper -u root -p 123456 -h 192.168.200.25 -P 3306 -B test -o /home/linuxidc/bak/')
    t2 = time.time()
    t = round(t2-t1)
    print "mydumper Cost Time %s" %t

if __name__ =='__main__':
    mysqldump_data()
    mydumper_data()

View Code

测试了 2 个数据库：

1：

mysqldump Cost Time：162s
mydumper Cost Time：61s

2：

mysqldump Cost Time：483s
mydumper Cost Time：337s

从上面的时间来看，mydumper 确实提升了备份数据，还原也同理。

###### 2016-07-20 更新 #######

mydumper 支持一张表多个线程以 chunk 的方式批量导出，参数 -r：试图用行块来分割表，该参数关闭 –chunk-filesize 参数。如：

mydumper -u zjy -p xxx  -h 192.168.123.70 -P 3306 -t 5 -c -r 300000 -l 3600 -s 10000000 -B vs -o /home/linuxidc/vs/

表示每个线程用 300000 行块来分割表，通过 show processlist 看到：5 个线程备份

| Sending data      | 
SELECT /*!40001 SQL_NO_CACHE */ * FROM `virtual_station`.`core_event` WHERE `id` IS NULL OR (`id` >= 1 AND `id` < 446597)     |
| Sending to client | 
SELECT /*!40001 SQL_NO_CACHE */ * FROM `virtual_station`.`core_error_log` WHERE `id` IS NULL OR (`id` >= 1 AND `id` < 351238) |
| Sending to client | 
SELECT /*!40001 SQL_NO_CACHE */ * FROM `virtual_station`.`core_event` WHERE (`id` >= 893193 AND `id` < 1339789)               |
| Sending to client | 
SELECT /*!40001 SQL_NO_CACHE */ * FROM `virtual_station`.`core_event` WHERE (`id` >= 1339789 AND `id` < 1786385)              |
| Sending data      |
SELECT /*!40001 SQL_NO_CACHE */ * FROM `virtual_station`.`core_error_log` WHERE (`id` >= 702475 AND `id` < 1053712)           |