阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

线上MySQL备份实例

222次阅读
没有评论

共计 7681 个字符，预计需要花费 20 分钟才能阅读完成。

是否为 MySQL 线上库的备份而烦恼过，这里提供一个完整的备份从属数据库的备份方案，亲测可用。

说明:

  1. 备份从库, 按周计, 每周进行一次全备
  2. 每周一的早上六点进行全备, 其他时间备份中继日志
  3. 在从库上启用 rsync 服务, 用于异地备份
  4. 在本地服务器使用 rsync 命令定时同步数据库的备份
  5. 此备份可用于为 Master 添加新的 Slave, 也可以用于还原 Master

一、服务器端配置

1、Python 编写的备份脚本

root@DBSlave:~# cat /scripts/mysql_slave_backup.py
 
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import os
import datetime,time
 
# 请在 linux 系统中安装 zip 和 unzip
 
# 备份策略示例
'''
    1. 每周进行一次全备, 其他都是备份中继日志
    2. 每周一凌晨 6:00 数据库全备份
    3. 周二至周日, 每天中午 12:00, 下午 18:00, 早上 6:00, 备份中继日志
'''
 
# 规划备份目录
# 备份目录以周为单位进行创建
# "%W": 一年中的第几周，以周一为每星期第一天(00-53)
Date_Time = datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S")   #  %F: 年月日
Week_Date = datetime.datetime.now().strftime("%Y-%W")     # 年 / 当前是本年的第几周
Dir = "/data/backup"
Backup_Dir = Dir+ '/' + Week_Date
 
# -- 创建备份目录  , 每周生成一个目录, 因为每周做一次全备
if os.path.isdir(Backup_Dir) is False:
    os.makedirs(Backup_Dir)
 
# 设置数据库连接信息
#mysqldump 选项
#    --skip-tz-utc                : 保持和表导出前的时区是一样的
#    --master-data=2              : 备份时写入 "change master to" 语句并且注释, 等于 1 时, 则不会注释
#    --dump-slave=2               : 备份 slave 的数据库，为 master 新增 slave 时使用.
#    --quick                      : 一次从行中的服务器检索表的行, 作用是加快导出表
#    --routines                   : 导出存储过程
#    --triggers                   : 导出触发器
#    --set-gtid-purged=OFF        : 防止备份数据导入新的实例时与其 GTID 发生冲突, 所以在备份数据时不添加 GTID 信息
#    --single-transaction         : 在从服务器转储数据之前发出 BEGIN SQL 语句, 尽量保证数据的一致性, 但是这个参数只适用于 innodb 这样的存储引擎
#    --dump-slave=2               : 备份时写入从库连接主库的 change 语句并且注释, 等于 1 时, 则不会注释
 
# 设置数据库备份信息
DB = '-uroot -p123456'  # 指定登录账号和密码
ARG = '--dump-slave=2 --skip-tz-utc --routines --triggers --quick --default-character-set=utf8 --single-transaction'    # 指定备份参数
DB_NAME = "dbname"  # 数据库名称
Back_DBNAME = DB_NAME + '_' + Date_Time + '.sql'    # 数据库备份名称
Logs_File = Backup_Dir + '/logs'    # 指定备份时日志输出的文件
Mysql_Bin = "/usr/bin/mysql"    # 指定 [mysql] 命令所在路径
MysqlDump_Bin = "/usr/bin/mysqldump"    # 指定 [mysqldump] 命令所在路径
Relay_Log_Dir = "/data/logs/relay_log"  #指定中继日志
Relay_Log_Info = "/data/logs/relay_log/relay-bin.info"  # 用于获取当前正在使用的中继日志
 
# 定义删除旧备份
def Del_Old():
    '''删除 36 天前的旧备份'''
    OLD_Files = os.popen("find %s -type f  -mtime +36"%(Dir)).readlines()
    if len(OLD_Files) > 0:
        for OLD_FIle in OLD_Files:
            FileName = OLD_FIle.split("\n")[0]
            os.system("rm -f %s"%(FileName))
 
    # 删除空目录
    All_Dir = os.popen("find %s -type d"%(Dir + '/*')).readlines()
    for Path_Dir in All_Dir:
        Path_Dir = Path_Dir.split("\n")[0]
        Terms = os.popen("ls %s | wc -l"%(Path_Dir)).read()
        if int(Terms) == 0:
            os.system("rm -rf %s"%(Path_Dir))
 
# 备份已经同步完成的中继日志文件
def ZIP_And_Del_Existed():
    '''
    压缩已经同步完成的日志文件并删除,
    为防止中继日志还没有同步完成, 就被删除, 这里作一个判断, 只压缩和删除已经同步过的中继日志
    '''
 
    # 获取所有的中继日志
    Relog_List = os.popen("ls %s | grep \"^relay-bin.*\"| grep -v \"relay-bin.in*\"" % (Relay_Log_Dir)).readlines()
 
    # 获取当前正在使用的中继日志文件
    CurRelay = os.popen("cat %s | head -n 1" % (Relay_Log_Info)).readline().split("\n")[0]
    CurRelay_MTime = os.path.getmtime(CurRelay)  # 获取当前正在使用的文件的最后修改时间
 
    # 循环所有的中继日志文件, 通过和中继日志的最后修改时间进行对比, 得到需要备份的中继日志
    Need_ZIP_FName = []  # 定义需要压缩和删除的文件名
    for FileName in Relog_List:
        '''将修改时间小于 [当前正在使用的中继日志] 文件的文件, 加入到 列表 [Need_ZIP_FName] 中, 用于备份 / 删除.'''
        FName =  FileName.split("\n")[0]
        FName_MTime = os.path.getmtime("%s/%s"%(Relay_Log_Dir,FName))
        if FName_MTime < CurRelay_MTime:
            Need_ZIP_FName.append("%s/%s"%(Relay_Log_Dir,FName))
 
    os.system("zip -j %s/Relay_log_%s.zip %s" % (Backup_Dir, Date_Time," ".join(Need_ZIP_FName)))
 
    # 获取已经压缩的中继日志文件, 然后删除
    for Relay_Log in Need_ZIP_FName:
        os.system("rm -f %s"%(Relay_Log))
 
# 开始执行备份.(判断, 如果今天是星期一则进行全备, 不是星期一则增量备份)
IF_Week = datetime.datetime.now().strftime('%w')
if int(IF_Week) == 1:
    # 匹配是否已经存在全备
    Test = os.popen('ls %s | grep -E \"^%s.*([0-9]{2}-[0-9]{2}-[0-9]{2}).sql.zip\"| wc -l'%(Backup_Dir,DB_NAME)).readline()
    if int(Test) == 0:
        # 如果星期一已经进行全备, 则开始增量备份
        with open(Logs_File,'a+') as file:
            file.writelines("####----------        分界线        ----------####\n")
            file.writelines("###start    >>> 全备    datetime : %s\n"%(datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S")))
            file.writelines("###     今天是周 %s\n"%(IF_Week))
            file.writelines("###     stop slave\n")
            os.system("%s %s -e \"stop slave\""%(Mysql_Bin,DB))
            file.writelines("###     status slave\n")
            Show_Slave = os.popen("%s %s -e \"show slave status\G\""%(Mysql_Bin,DB)).readlines()
            file.writelines(Show_Slave)
            file.writelines("###     backup\n")
            os.system("%s %s %s %s > %s/%s"%(MysqlDump_Bin,DB,ARG,DB_NAME,Backup_Dir,Back_DBNAME))
            file.writelines("###    backup done && start slave | datetime : %s\n"%(datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S")))
            os.system("%s %s -e \"start slave;\""%(Mysql_Bin,DB))
            time.sleep(5)
            file.writelines("###    slave status\n")
            Show_Slave = os.popen("%s %s -e \"show slave status\G\"" % (Mysql_Bin, DB)).readlines()
            file.writelines(Show_Slave)
            file.writelines("###done    >>> 全备完成 \n")
            os.system("zip -j %s/%s.zip %s/%s"%(Backup_Dir,Back_DBNAME,Backup_Dir,Back_DBNAME))
            os.system("rm %s/%s"%(Backup_Dir,Back_DBNAME))
            file.writelines("\n\n\n\n\n")
        Del_Old()
    else:
        with open(Logs_File,'a+') as file:
            file.writelines("####----------        分界线        ----------####\n")
            file.writelines("###start    >>> 增量备份    datetime : %s\n"%(datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S")))
            file.writelines("###     今天是周 %s\n"%(IF_Week))
            file.writelines("###     stop slave\n")
            os.system("%s %s -e \"stop slave\""%(Mysql_Bin,DB))
            file.writelines("###     status slave\n")
            Show_Slave = os.popen("%s %s -e \"show slave status\G\""%(Mysql_Bin,DB)).readlines()
            file.writelines(Show_Slave)
            file.writelines("###     backup\n")
            ZIP_And_Del_Existed()
            file.writelines("###    backup done && start slave | datetime : %s\n"%(datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S")))
            os.system("%s %s -e \"start slave;\""%(Mysql_Bin,DB))
            time.sleep(5)
            file.writelines("###    slave status\n")
            Show_Slave = os.popen("%s %s -e \"show slave status\G\"" % (Mysql_Bin, DB)).readlines()
            file.writelines(Show_Slave)
            file.writelines("###done    >>> 增量备份完成 \n")
            file.writelines("\n\n\n\n\n")
        Del_Old()
else:
    with open(Logs_File, 'a+') as file:
        file.writelines("####----------        分界线        ----------####\n")
        file.writelines("###start    >>> 增量备份    datetime : %s\n" % (datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S")))
        file.writelines("###     今天是周 %s\n" % (IF_Week))
        file.writelines("###     stop slave\n")
        os.system("%s %s -e \"stop slave\"" % (Mysql_Bin, DB))
        file.writelines("###     status slave\n")
        Show_Slave = os.popen("%s %s -e \"show slave status\G\"" % (Mysql_Bin, DB)).readlines()
        file.writelines(Show_Slave)
        file.writelines("###     backup\n")
        ZIP_And_Del_Existed()
        file.writelines("###    backup done && start slave | datetime : %s\n" % (datetime.datetime.now().strftime("%Y-%m-%d-%H-%M-%S")))
        os.system("%s %s -e \"start slave;\"" % (Mysql_Bin, DB))
        time.sleep(5)
        file.writelines("###    slave status\n")
        Show_Slave = os.popen("%s %s -e \"show slave status\G\"" % (Mysql_Bin, DB)).readlines()
        file.writelines(Show_Slave)
        file.writelines("###done    >>> 增量备份完成 \n")
        file.writelines("\n\n\n\n\n")
    Del_Old()

2、计划任务

root@DBSlave:~# cat /etc/cron.d/general
 
#mysql backup
0 6     * * *   root    python /scripts/mysql_slave_backup.py
0 12    * * *   root    python /scripts/mysql_slave_backup.py
0 18    * * *   root    python /scripts/mysql_slave_backup.py

3、rsync 配置

root@DBSlave:~# cat /etc/rsyncd.conf
 
uid = 0
gid = 0
use chroot = yes
address = "当前主机公网地址"
port = 8638
log file = /var/log/rsync.log
pid file = /var/run/rsync.pid
hosts allow = "只允许某个 IP 连接"
 
[databases]
path = /data/backup/
comment = databases
read only = yes
dont compress = *.gz *.bz2 *.zip
# 只允许 remoteuser 用户
auth users = remoteuser
secrets file = /etc/rsyncd_users.db
root@DBSlave:~# cat /etc/rsyncd_users.db
# 格式: 用户名: 密码
remoteuser:password

二、本地备份主机配置

1、创建 rsync 密码文件

root@localhost:~# cat /etc/server.pass
remoteuser:password

2、同步脚本

root@localhost:~# cat /scripts/backup.sh
 
#!/bin/bash
SSH=$(which ssh)
Logs_Dir="/Backup/logs.txt"
Rsync=$(which rsync)
Project="databases"
Dest="/Backup/"
 
IF_DEL_FILE=$(find ${Dest} -type f -mtime +36 -name "*" | wc -l)
DEL_FILE=$(find ${Dest} -type f -mtime +36 -name "*")
 
# 删除旧备份
RMOLD(){if [ "${IF_DEL_FILE}" -gt "0" ]
    then
        for filename in ${DEL_FILE}
        do
            rm -f ${filename}
        done
        rmdir ${Dest}*  # 删除空目录
    fi
}
 
# 执行同步命令
Backup(){echo "###    ---------- datetime : `date +%F-%H-%M-%S` ----------    ###" >> ${Logs_Dir}
    echo "#    start rsync" >> ${Logs_Dir}
    ${Rsync} -azH --password-file=/etc/server.pass --bwlimit=300 --port=8638 remoteuser@数据库 rsync 监听的 IP 地址::${Project} ${Dest} &>> ${Logs_Dir}
    echo "###    end   rsync    ---------- dateime : `date +%F-%H-%M-%S` ----------    ###" >> ${Logs_Dir}
    echo -e "\n\n\n\n\n" >> ${Logs_Dir}
    RMOLD
}
 
# 判断如果当前正在同步则不再执行同步命令
IFProcess(){ps -ef | grep "${Rsync} -azH --password-file=/etc/server.pass --bwlimit=300 --port=8638 remoteuser@数据库 rsync 监听的 IP 地址::${Project}" | grep -v "grep" &> /dev/null
    if [["$?" == 0]]
    then
        exit 0
    else
        Backup
    fi
}
 
IFProcess

3、计划任务

root@localhost:~# cat /etc/cron.d/general
01 23 * * * root /bin/sh /scripts/backup.sh

：

正文完
星哥玩云-微信公众号
post-qrcode
MongoDB MySQL MySQL备份 NoSQL Oracle Oracle教程 Oracle数据库 PostgreSQL 数据库 线上MySQL备份实例
发表至： 数据库技术
2022-01-22
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-22发表，共计7681字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
MySQL数据库主从同步
MySQL 物理备份死锁分析
Oracle在线 redo log文件丢失后的恢复
Redis源码分析之发布订阅（pub/sub）
MySQL-5.5主从关于‘复制过滤’的深入探究
MySQL audit访问日志记录
ORA-01157与ORA-01110无法识别/锁定数据文件
MySQL metadata lock阻塞问题
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3971292
评论数
4
文章搜索
热门文章
开源堡垒机JumpServer配置教程：使用步骤与配置

开源堡垒机JumpServer配置教程：使用步骤与配置

开源堡垒机 JumpServer 配置教程：使用步骤与配置 上一篇文章星哥讲了如何安装 JumpServer ...
申请腾讯混元的API Key并且使用LobeChat调用混元AI

申请腾讯混元的API Key并且使用LobeChat调用混元AI

申请腾讯混元的 API Key 并且使用 LobeChat 调用混元 AI 之前星哥写了一篇文章《手把手教拥有...
基于Docker快速搭建一个开源的IT人员在线工具箱-it-tools

基于Docker快速搭建一个开源的IT人员在线工具箱-it-tools

基于 Docker 快速搭建一个开源的 IT 人员在线工具箱 -it-tools 在日常的开发工作中，我们经常...
Docker部署搭建一个开源强大的图书管理系统

Docker部署搭建一个开源强大的图书管理系统

Docker 部署搭建一个开源强大的图书管理系统 大家好，我是星哥，作为一个电子图书收集者，想要管理自己的几百...
系统加固-Linux不允许用户使用密码登录，只能使用密钥登录

系统加固-Linux不允许用户使用密码登录，只能使用密钥登录

一、密码登录的安全隐患 传统的密码登录方式，尽管简单直接，却存在诸多安全隐患。首先，密码本身容易被猜测或通过暴...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
基于Nginx的WordPress安全设置

基于Nginx的WordPress安全设置

目录权限 最后更改文件所有人和组需要根据 nginx.conf 的设置来，有的是 www-data，有的是 n...
细述：Fail2ban 阻止暴力破解案例

细述：Fail2ban 阻止暴力破解案例

导读 Fail2ban 能够监控系统日志，匹配日志中的错误信息（使用正则表达式），执行相应的屏蔽动作（支持多种...
别再说人工智能、deepseek不好用了，那是你不会这样用，赶紧收藏起来！

别再说人工智能、deepseek不好用了，那是你不会这样用，赶紧收藏起来！

别再说人工智能、deepseek 不好用了，那是你不会这样用，赶紧收藏起来！ 近年来，人工智能（AI）和 De...
Bash 的路径补全功能

Bash 的路径补全功能

bash-complete-partial-path[1] 通过添加不完整的路径展开（类似于 Zsh）来增强 ...
Linux修改网卡名称

Linux修改网卡名称

导读 网卡，即网络接口板，又称网络适配器或 NIC (网络接口控制器)，是一块被设计用来允许计算机在计算机网络...
一言一句话
生活就是和过去再见，和未来遇见！
-「柠檬茶」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中