分享一个MySQL binlog 远程备份脚本

yumo6663个月前 (03-29)技术文章24

概述

从MySQL5.6开始,mysqlbinlog支持将远程服务器上的binlog实时复制到本地服务器上。

mysqlbinlog的实时二进制复制功能并非简单的将远程服务器的日志复制过来,它是通过MySQL 5.6公布的Replication API实时获取二进制事件。本质上,就相当于MySQL的从服务器。与普通服务器类似,主服务器发生事件后,一般都会在0.5~1秒内进行备份

今天主要简单分享一个MySQL binlog 远程备份脚本,仅供参考。


实现原理

mysqlbinlog --read-from-remote-server --raw --host=xx --port=3306 --user=repl --password=repl --stop-never mysql-bin.000001


说明:

--read-from-remote-server:用于备份远程服务器的binlog。如果不指定该选项,则会查找本地的binlog。

--raw:binlog日志会以二进制格式存储在磁盘中,如果不指定该选项,则会以文本形式保存。如果指定了--raw,mysqlbinlog获取事件后,并不会实时落盘,而是先保存在本地服务器的内存中,每4K刷盘一次。这也就减少了频繁的日志写操作。如果此时mysqlbinlog和主服务器之间的连接断开了,则内存中的binlog会马上刷新到磁盘中。

--user:复制的MySQL用户,只需要授予REPLICATION SLAVE权限。

--stop-never:mysqlbinlog可以只从远程服务器获取指定的几个binlog,也可将不断生成的binlog保存到本地。指定此选项,代表只要远程服务器不关闭或者连接未断开,mysqlbinlog就会不断的复制远程服务器上的binlog。

mysql-bin.000001:代表从哪个binlog开始复制。

除了以上选项外,还有以下几个选项需要注意:


--stop-never-slave-server-id:在备份远程服务器的binlog时,mysqlbinlog本质上就相当于一个从服务器,该选项就是用来指定从服务器的server-id的。默认为-1。

--to-last-log:代表mysqlbinlog不仅能够获取指定的binlog,还能获取其后生成的binlog,获取完了,才终止。如果指定了--stop-never选项则会隐式打开--to-last-log选项。

--result-file:用于设置远程服务器的binlog,保存到本地的前缀。譬如对于mysql-bin.000001,如果指定--result-file=/test/backup-,则保存到本地后的文件名为
/test/backup-mysql-bin.000001。注意:如果将--result-file设置为目录,则一定要带上目录分隔符“/”。譬如--result-file=/test/,而不是--result-file=/test,不然保存到本地的文件名为/testmysql-bin.000001。


binlog远程备份脚本

#!/bin/bash
#################################
# copyright by hwb
# DATE:2021-12-25
# grant replication slave,replication client on *.* to 'slave'@'%' identified by 'slave@1234'; 
#################################

LOCAL_BACKUP_DIR=/data/backup/binlog/
BACKUP_LOG=/home/scripts/binlog_backup.log
REMOTE_HOST=xxx
REMOTE_PORT=53306
REMOTE_USER=slave
REMOTE_PASS=slave@1234
FIRST_BINLOG=mysql-bin.000001
#time to wait before reconnecting after failure
SLEEP_SECONDS=10

#调用函数库
[ -f /etc/init.d/functions ] && source /etc/init.d/functions
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
source /etc/profile

#Require root to run this script.
[ $(id -u) -gt 0 ] && echo "请用root用户执行此脚本!" && exit 1

[ -d ${LOCAL_BACKUP_DIR} ] || mkdir -p ${LOCAL_BACKUP_DIR}
[ -f ${BACKUP_LOG} ] || touch ${BACKUP_LOG}


binlog_bak(){
  echo ""
  echo -e "\033[33m*************************************************开始进行binlog备份******************************************************\033[0m"

  cd ${LOCAL_BACKUP_DIR}
  ## 运行while循环,连接断开后等待指定时间,重新连接
  while :
  do
    if [ `ls -A "${LOCAL_BACKUP_DIR}" |wc -l` -eq 0 ];then
      LAST_FILE=${FIRST_BINLOG}
    else
      LAST_FILE=`ls -l ${LOCAL_BACKUP_DIR} | tail -n 1 |awk '{print $9}'`
    fi
    
    #开始进行binlog远程备份
    mysqlbinlog --raw --read-from-remote-server --stop-never --host=${REMOTE_HOST} --port=${REMOTE_PORT} --user=${REMOTE_USER} --password=${REMOTE_PASS} ${LAST_FILE}
    echo "`date +"%Y/%m/%d %H:%M:%S"` mysqlbinlog停止,返回代码:$?" | tee -a ${BACKUP_LOG}
    echo "${SLEEP_SECONDS}秒后再次连接并继续备份!" | tee -a ${BACKUP_LOG}
    sleep ${SLEEP_SECONDS}
  done
}

binlog_bak

测试结果

简单测试如下:


后面会分享更多devops和DBA方面内容,感兴趣的朋友可以关注下!

相关文章

MySQL的备份与还原,非常规备份,全量备份,增量备份

一、测试数据库的创建 1:官方百万级别的测试数据库:官方测试数据库github网址:https://github.com/datacharmer/test_db下载到目录,解压即可,运行命令:mys...

Mysql 自动备份脚本2

备份方案:备份主机:192.168.10.11数据库服务器:192.168.10.22备份内容:对mysql服务器中的xxxx和yyyy库进行远程备份,每天凌晨2:30执行,每个库备份为独立的.sql...

mysql备份方法

MySQL备份的方法有很多种,以下是两种常用的方法:1. 使用mysqldump命令备份mysqldump是MySQL自带的备份工具,可以将MySQL数据库备份为SQL文件,使用方法如下:```mys...

Linux下如何定时备份Mysql

一、前言前段时间本论坛的数据库被黑客攻击,有很多数据都找不回来。只因工作太忙,一直没有时间做论坛的数据备份。这次做备份,顺便把过程分享给大家二、生成脚本0、生成脚本前,先针对脚本执行所需要的快捷键操作...

数据库备份工具——mysqldump详解

mysqldump 是 MySQL 提供的一个备份工具,用于创建数据库的逻辑备份。备份生成的是 SQL 脚本文件,该文件包含重建数据库所需的 SQL 语句。以下是 mysqldump 的详细用法:基本...

MySQL在生产环境下是怎么进行备份和备份恢复的?

前言mysql的基础备份和基础备份恢复很简单,备份用mysqldump命令,恢复备份用 < 标准输入符。其实很多进入公司工作过一段时间的IT小伙伴,应该都知道这两个操作,所以本文主要是针对一些刚...