分享一个MySQL binlog 远程备份脚本

yumo6664个月前 (03-29)技术文章31

概述

从MySQL5.6开始,mysqlbinlog支持将远程服务器上的binlog实时复制到本地服务器上。

mysqlbinlog的实时二进制复制功能并非简单的将远程服务器的日志复制过来,它是通过MySQL 5.6公布的Replication API实时获取二进制事件。本质上,就相当于MySQL的从服务器。与普通服务器类似,主服务器发生事件后,一般都会在0.5~1秒内进行备份

今天主要简单分享一个MySQL binlog 远程备份脚本,仅供参考。


实现原理

mysqlbinlog --read-from-remote-server --raw --host=xx --port=3306 --user=repl --password=repl --stop-never mysql-bin.000001


说明:

--read-from-remote-server:用于备份远程服务器的binlog。如果不指定该选项,则会查找本地的binlog。

--raw:binlog日志会以二进制格式存储在磁盘中,如果不指定该选项,则会以文本形式保存。如果指定了--raw,mysqlbinlog获取事件后,并不会实时落盘,而是先保存在本地服务器的内存中,每4K刷盘一次。这也就减少了频繁的日志写操作。如果此时mysqlbinlog和主服务器之间的连接断开了,则内存中的binlog会马上刷新到磁盘中。

--user:复制的MySQL用户,只需要授予REPLICATION SLAVE权限。

--stop-never:mysqlbinlog可以只从远程服务器获取指定的几个binlog,也可将不断生成的binlog保存到本地。指定此选项,代表只要远程服务器不关闭或者连接未断开,mysqlbinlog就会不断的复制远程服务器上的binlog。

mysql-bin.000001:代表从哪个binlog开始复制。

除了以上选项外,还有以下几个选项需要注意:


--stop-never-slave-server-id:在备份远程服务器的binlog时,mysqlbinlog本质上就相当于一个从服务器,该选项就是用来指定从服务器的server-id的。默认为-1。

--to-last-log:代表mysqlbinlog不仅能够获取指定的binlog,还能获取其后生成的binlog,获取完了,才终止。如果指定了--stop-never选项则会隐式打开--to-last-log选项。

--result-file:用于设置远程服务器的binlog,保存到本地的前缀。譬如对于mysql-bin.000001,如果指定--result-file=/test/backup-,则保存到本地后的文件名为
/test/backup-mysql-bin.000001。注意:如果将--result-file设置为目录,则一定要带上目录分隔符“/”。譬如--result-file=/test/,而不是--result-file=/test,不然保存到本地的文件名为/testmysql-bin.000001。


binlog远程备份脚本

#!/bin/bash
#################################
# copyright by hwb
# DATE:2021-12-25
# grant replication slave,replication client on *.* to 'slave'@'%' identified by 'slave@1234'; 
#################################

LOCAL_BACKUP_DIR=/data/backup/binlog/
BACKUP_LOG=/home/scripts/binlog_backup.log
REMOTE_HOST=xxx
REMOTE_PORT=53306
REMOTE_USER=slave
REMOTE_PASS=slave@1234
FIRST_BINLOG=mysql-bin.000001
#time to wait before reconnecting after failure
SLEEP_SECONDS=10

#调用函数库
[ -f /etc/init.d/functions ] && source /etc/init.d/functions
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
source /etc/profile

#Require root to run this script.
[ $(id -u) -gt 0 ] && echo "请用root用户执行此脚本!" && exit 1

[ -d ${LOCAL_BACKUP_DIR} ] || mkdir -p ${LOCAL_BACKUP_DIR}
[ -f ${BACKUP_LOG} ] || touch ${BACKUP_LOG}


binlog_bak(){
  echo ""
  echo -e "\033[33m*************************************************开始进行binlog备份******************************************************\033[0m"

  cd ${LOCAL_BACKUP_DIR}
  ## 运行while循环,连接断开后等待指定时间,重新连接
  while :
  do
    if [ `ls -A "${LOCAL_BACKUP_DIR}" |wc -l` -eq 0 ];then
      LAST_FILE=${FIRST_BINLOG}
    else
      LAST_FILE=`ls -l ${LOCAL_BACKUP_DIR} | tail -n 1 |awk '{print $9}'`
    fi
    
    #开始进行binlog远程备份
    mysqlbinlog --raw --read-from-remote-server --stop-never --host=${REMOTE_HOST} --port=${REMOTE_PORT} --user=${REMOTE_USER} --password=${REMOTE_PASS} ${LAST_FILE}
    echo "`date +"%Y/%m/%d %H:%M:%S"` mysqlbinlog停止,返回代码:$?" | tee -a ${BACKUP_LOG}
    echo "${SLEEP_SECONDS}秒后再次连接并继续备份!" | tee -a ${BACKUP_LOG}
    sleep ${SLEEP_SECONDS}
  done
}

binlog_bak

测试结果

简单测试如下:


后面会分享更多devops和DBA方面内容,感兴趣的朋友可以关注下!

相关文章

SpringBoot实现MySQL数据库自动备份管理系统

最近写了一个 MySQL 数据库自动、手动备份管理系统开源项目,想跟大家分享一下,项目地址:https://gitee.com/asurplus/db-backup1、界面献上登录界面首页实例管理执行...

MySQL进行整库数据备份「表(结构+数据)、视图、函数、事件」

  前言  通常情况下,我们需要改什么地方就备份什么地方就可以了,但也免不了需要整库备份的时候,本文记录实现MySQL使用脚本进行整库数据备份【表(结构+数据)、视图、函数、事件】  主要是使用mys...

mysql单表备份、单表复制

在 MySQL 中,可以通过以下步骤基于已有的表 t_device 创建一个新表 t_device_bk,并将 t_device 表的数据全复制到新表:方法一:使用 CREATE TABLE 和 IN...

使用docker备份mysql数据库

数据在项目中绝对是非常重要的,若数据发生丢失,很容易造成难以挽回的损失。所以,数据库备份在生产上是必不可少的,下面我们来了解下在docker环境下mysql数据库的备份是如何做的。一、数据库容器假设我...

mysql自动备份,并zabbix检测备份文件是否正常,备份文件大小

推荐mongodb自动备份,并zabbix检测备份文件是否正常CentOS 7.9服务器,一分钟部署完mysql8.0Ubuntu22部署MySQL8.0二进制安装快速部署mysql主从,zabbix...

MySQL管理授权和数据库的备份和还原详解

一般管理用户和授权由DBA去执行,DBA为数据库管理员一、管理用户1.添加用户CREATE USER '用户名'@'主机名'IDENTIFIED BY'密码';2.删除用户DROP USER '用户名...