记一次mysql数据库数据自动备份(全量+增量备份)
1 全量备份
描述：
（1） 每日凌晨1点自动执行脚本进行数据备份并压缩，备份并压缩的数据保存到nas目录/mnt/nas/mysql_data_bak/，保留7天的备份数据
（2） 保留7天备份的数据，第8天数据备份后，直接覆盖第1天的备份数据，第9天数据备份后，直接覆盖第2天的数据备份，依次进行……
（3） 数据库临时备份文件存放目录：/tmp/mysql_data_bak/
（4） 数据库备份压缩文件存放目录：/mnt/nas/mysql_data_bak/
（5） 备份脚本文件存放目录及文件名：
/data/nginx/shell/db_backup_publicnet.sh
1.1 【全量备份】脚本文件
#添加可执行权限
chmod +x /data/nginx/shell/db_backup_publicnet.sh
#备份脚本内容
#!/bin/bash
# 设置mysql的登录用户名和密码(根据实际情况填写)
mysql_user="mq"
mysql_password="mq"
mysql_host="127.0.0.1"
mysql_port="3306"
# 备份文件存放地址(根据实际情况填写)
mkdir -p /tmp/mysql_data_bak
backup_location=/tmp/mysql_data_bak
#备份文件压缩后移动到nas目录
nas_location=/mnt/nas/mysql_data_bak
# 是否删除过期数据
#expire_backup_delete="ON"
#expire_days=1
#backup_time=`date +%Y%m%d%H%M`
backup_dir=$backup_location
mysql_msg="MySQL backup start!"
# 循环备份日期
circle_interval=7
# 设置初始日期,该数据作为铺地数据
start_date=`date -d "2021-05-06 00:00:00" +%s`
# 判断mysql实例是否正常运行
mysql_ps=`ps -ef |grep mysql |wc -l`
mysql_listen=`netstat -an |grep LISTEN |grep $mysql_port|wc -l`
if [ [$mysql_ps == 0] -o [$mysql_listen == 0] ]; then
echo "ERROR:MySQL is not running! backup stop!"
exit
else
echo $mysql_msg
fi
# 当前日期
end_date=`date -d "${end}" +%s`
# 计算与初始日期
stamp_diff=`expr $end_date - $start_date`
# 计算间隔时间
day_diff=`expr $stamp_diff / 86400`
# 根据间隔时间计算出当前文件名
mod_data=$(($day_diff % $circle_interval))
# 备份指定数据库中数据(备份的数据库是abc)
mysqldump -u$mysql_user -p$mysql_password -h$mysql_host -P$mysql_port --socket=/data2/mysql/mysql.sock --single-transaction -B -R abc > $backup_dir/abc_backdb-$mod_data.sql
flag=`echo $?`
if [ $flag == "0" ];then
cd $backup_dir
tar czvf $nas_location/abc_backdb-$mod_data.sql.tar.gz abc_backdb-$mod_data.sql
if [ $? -eq 0 ];then
#rm -f abc_backdb-$mod_data.sql
echo "database abc success backup to $nas_location/abc_backdb-$mod_data.sql.tar.gz"
fi
else
echo "database abc backup fail!"
fi1.2 创建备份文件临时存放目录
#先查看该目录是否存在
cd /tmp && mkdir mysql_data_bak
1.3 创建备份文件在nas上的存放目录
#先查看该目录是否存在
cd /mnt/nas && mkdir mysql_data_bak
1.4 先手动执行一次，查看备份是否成功
sh /data/shell/db_backup_publicnet.sh
#进入数据库临时备份文件目录查看数据库临时备份文件是否生成
cd /tmp/mysql_data_bak
#进入数据库备份文件目录查看数据库备份压缩文件是否生成
cd /mnt/nas/mysql_data_bak
1.5 查看数据库备份压缩文件是否能成功解压
tar zxvf abc_backdb-0.sql.tar.gz
1.6 crontab设置定时任务：
#每天凌晨1点备份：
crontab -e
#添加
0 1 * * * /bin/bash /data/nginx/shell/db_backup_publicnet.sh
#查看定时任务：
crontab -l
1.7 验证
前期关注并查看备份是否正常进行
2 增量备份
描述：
（1）每日凌晨1点20分自动执行脚本对日志文件mysql-bin.* 进行割接备份，永久保存备份
（2）每次执行脚本，会产生一个新的mysql-bin.*，即：每日产生一个新的mysql-bin.*日志文件，并将该日志文件进行备份压缩后放到nas备份目录/mnt/nas/mysqlbin_bak。
（3）原日志目录：/data/disksdb1/log
（4）脚本文件存放目录及文件名：
/data/nginx/shell/mysqlbin/db_add_mysqlbin_backup.sh
（5）日志割接备份文件存放目录：/mnt/nas/mysqlbin_bak
（6）脚本执行打印信息记录：
/tmp/mysql_data_bak/mysqlbin_log/bak.log
2.1 【增量备份】脚本文件
#添加可执行权限
chmod +x /data/nginx/shell/mysqlbin/db_add_mysqlbin_backup.sh
#脚本文件内容
#!/bin/bash
#数据库信息
mysql_user="root"
mysql_password="root"
mysql_host="127.0.0.1"
mysql_port="3306"
#增量备份时mysql-bin.00000*的备份目标目录，提前手动创建
backupDir=/mnt/nas/mysqlbin_bak
#mysql-bin日志目录
mysqlDir=/data2/log
#增量备份操作记录（skip,exist,copying)
logFile=/tmp/mysql_data_bak/mysqlbin_log/bak.log
#mysql-bin的index文件路径
binFile=/data2/log/mysql-bin.index
#生成新的mysql-bin.00000*文件
mysqladmin -u$mysql_user -p$mysql_password flush-logs
#wc -l 统计mysql-bin.index文件的总行数
#awk 简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理
counter=`wc -l $binFile | awk '{print $1}'`
nextNum=0
#这个for循环用于比对$counter,$nextNum这两个值来确定文件是不是存在或最新的
for file in `cat $binFile`
do
#basename用于截取mysql-bin.00000*文件名，去掉路径只保留文件名
base=`basename $file`
echo $base
nextNum=`expr $nextNum + 1`
#检测是否所有的文件是否读取完
if [ $nextNum -eq $counter ]; then
cd $mysqlDir
tar czvf $backupDir/mysql-bin.index.tar.gz mysql-bin.index
echo $base skip! >> $logFile
else
#增量备份时mysql-bin.00000*的备份文件（全路径）
dest=$backupDir/$base.tar.gz
#检测目标备份文件是否存在
if [ -f $dest ]; then
echo $base exist! >> $logFile
else
#不存在，则进行压缩备份-nas
cd $mysqlDir
#判断$base文件是否存在
if [ -f $base ]; then
#压缩备份-nas
tar czvf $backupDir/$base.tar.gz $base
#判断压缩备份是否成功
if [ $? -eq 0 ]; then
echo $base copyTar success! >> $logFile
#清空原日志文件
#cat /dev/null > $base
else
echo $base copyTar failed! >> $logFile
fi
else
echo echo $base original_file not found! >> $logFile
fi
fi
fi
done2.2 创建数据库日志备份文件在nas上存放目录
cd /mnt/nas && mkdir mysqlbin_bak
2.3 创建数据库日志备份脚本执行时输出内容存放目录及文件
cd /tmp/mysql_data_bak && mkdir mysqlbin_log
cd mysqlbin_log && touch bak.log
2.4 先手动执行一次，查看数据库日志是否割接成功及是否备份成功
#执行脚本
sh /data/nginx/shell/mysqlbin/db_add_mysqlbin_backup.sh
#进入数据库原日志目录，查看日志文件是否割接成功
cd /data/disksdb1/log
#进入数据库日志备份目录，查看备份压缩文件是否生成
cd /mnt/nas/mysqlbin_bak
2.5 查看数据库日志备份压缩文件是否能成功解压
tar zxvf mysql-bin.000001.tar.gz
#查看解压后内容
mysqlbinlog mysql-bin.000001
2.6 crontab设置定时任务：
#每天凌晨1:20备份：
crontab -e
#添加
20 1 * * * /bin/bash /data/nginx/shell/mysqlbin/db_add_mysqlbin_backup.sh
#查看定时任务：
crontab -l
2.7 验证
前期关注并查看备份是否正常进行
需要数据恢复的请查看文章《mysql全量&增量数据备份后，进行数据恢复》
数据恢复文章链
https://m.toutiao.com/is/iYq3Pq8W/