分享一个MySQL binlog 远程备份脚本

yumo6661个月前 (03-29)技术文章18

概述

从MySQL5.6开始,mysqlbinlog支持将远程服务器上的binlog实时复制到本地服务器上。

mysqlbinlog的实时二进制复制功能并非简单的将远程服务器的日志复制过来,它是通过MySQL 5.6公布的Replication API实时获取二进制事件。本质上,就相当于MySQL的从服务器。与普通服务器类似,主服务器发生事件后,一般都会在0.5~1秒内进行备份

今天主要简单分享一个MySQL binlog 远程备份脚本,仅供参考。


实现原理

mysqlbinlog --read-from-remote-server --raw --host=xx --port=3306 --user=repl --password=repl --stop-never mysql-bin.000001


说明:

--read-from-remote-server:用于备份远程服务器的binlog。如果不指定该选项,则会查找本地的binlog。

--raw:binlog日志会以二进制格式存储在磁盘中,如果不指定该选项,则会以文本形式保存。如果指定了--raw,mysqlbinlog获取事件后,并不会实时落盘,而是先保存在本地服务器的内存中,每4K刷盘一次。这也就减少了频繁的日志写操作。如果此时mysqlbinlog和主服务器之间的连接断开了,则内存中的binlog会马上刷新到磁盘中。

--user:复制的MySQL用户,只需要授予REPLICATION SLAVE权限。

--stop-never:mysqlbinlog可以只从远程服务器获取指定的几个binlog,也可将不断生成的binlog保存到本地。指定此选项,代表只要远程服务器不关闭或者连接未断开,mysqlbinlog就会不断的复制远程服务器上的binlog。

mysql-bin.000001:代表从哪个binlog开始复制。

除了以上选项外,还有以下几个选项需要注意:


--stop-never-slave-server-id:在备份远程服务器的binlog时,mysqlbinlog本质上就相当于一个从服务器,该选项就是用来指定从服务器的server-id的。默认为-1。

--to-last-log:代表mysqlbinlog不仅能够获取指定的binlog,还能获取其后生成的binlog,获取完了,才终止。如果指定了--stop-never选项则会隐式打开--to-last-log选项。

--result-file:用于设置远程服务器的binlog,保存到本地的前缀。譬如对于mysql-bin.000001,如果指定--result-file=/test/backup-,则保存到本地后的文件名为
/test/backup-mysql-bin.000001。注意:如果将--result-file设置为目录,则一定要带上目录分隔符“/”。譬如--result-file=/test/,而不是--result-file=/test,不然保存到本地的文件名为/testmysql-bin.000001。


binlog远程备份脚本

#!/bin/bash
#################################
# copyright by hwb
# DATE:2021-12-25
# grant replication slave,replication client on *.* to 'slave'@'%' identified by 'slave@1234'; 
#################################

LOCAL_BACKUP_DIR=/data/backup/binlog/
BACKUP_LOG=/home/scripts/binlog_backup.log
REMOTE_HOST=xxx
REMOTE_PORT=53306
REMOTE_USER=slave
REMOTE_PASS=slave@1234
FIRST_BINLOG=mysql-bin.000001
#time to wait before reconnecting after failure
SLEEP_SECONDS=10

#调用函数库
[ -f /etc/init.d/functions ] && source /etc/init.d/functions
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
source /etc/profile

#Require root to run this script.
[ $(id -u) -gt 0 ] && echo "请用root用户执行此脚本!" && exit 1

[ -d ${LOCAL_BACKUP_DIR} ] || mkdir -p ${LOCAL_BACKUP_DIR}
[ -f ${BACKUP_LOG} ] || touch ${BACKUP_LOG}


binlog_bak(){
  echo ""
  echo -e "\033[33m*************************************************开始进行binlog备份******************************************************\033[0m"

  cd ${LOCAL_BACKUP_DIR}
  ## 运行while循环,连接断开后等待指定时间,重新连接
  while :
  do
    if [ `ls -A "${LOCAL_BACKUP_DIR}" |wc -l` -eq 0 ];then
      LAST_FILE=${FIRST_BINLOG}
    else
      LAST_FILE=`ls -l ${LOCAL_BACKUP_DIR} | tail -n 1 |awk '{print $9}'`
    fi
    
    #开始进行binlog远程备份
    mysqlbinlog --raw --read-from-remote-server --stop-never --host=${REMOTE_HOST} --port=${REMOTE_PORT} --user=${REMOTE_USER} --password=${REMOTE_PASS} ${LAST_FILE}
    echo "`date +"%Y/%m/%d %H:%M:%S"` mysqlbinlog停止,返回代码:$?" | tee -a ${BACKUP_LOG}
    echo "${SLEEP_SECONDS}秒后再次连接并继续备份!" | tee -a ${BACKUP_LOG}
    sleep ${SLEEP_SECONDS}
  done
}

binlog_bak

测试结果

简单测试如下:


后面会分享更多devops和DBA方面内容,感兴趣的朋友可以关注下!

相关文章

记一次mysql数据库数据自动备份(全量+增量备份)

1 全量备份描述:(1) 每日凌晨1点自动执行脚本进行数据备份并压缩,备份并压缩的数据保存到nas目录/mnt/nas/mysql_data_bak/,保留7天的备份数据(2) 保留7天备份的数据,第...

MySQL进行整库数据备份「表(结构+数据)、视图、函数、事件」

  前言  通常情况下,我们需要改什么地方就备份什么地方就可以了,但也免不了需要整库备份的时候,本文记录实现MySQL使用脚本进行整库数据备份【表(结构+数据)、视图、函数、事件】  主要是使用mys...

MySQL的备份与还原,非常规备份,全量备份,增量备份

一、测试数据库的创建 1:官方百万级别的测试数据库:官方测试数据库github网址:https://github.com/datacharmer/test_db下载到目录,解压即可,运行命令:mys...

Mysql 自动备份脚本2

备份方案:备份主机:192.168.10.11数据库服务器:192.168.10.22备份内容:对mysql服务器中的xxxx和yyyy库进行远程备份,每天凌晨2:30执行,每个库备份为独立的.sql...

mysql备份方法

MySQL备份的方法有很多种,以下是两种常用的方法:1. 使用mysqldump命令备份mysqldump是MySQL自带的备份工具,可以将MySQL数据库备份为SQL文件,使用方法如下:```mys...

mysql自动备份,并zabbix检测备份文件是否正常,备份文件大小

推荐mongodb自动备份,并zabbix检测备份文件是否正常CentOS 7.9服务器,一分钟部署完mysql8.0Ubuntu22部署MySQL8.0二进制安装快速部署mysql主从,zabbix...