达永编程网

程序员技术分享与交流平台

基于mysql协议的数据库备份与恢复

1.背景

信息化平台生产上线以后,除了一些日常的功能、服务器运维工作,最核心的工作是对数据安全的管理,特别是业务存储数据。一般情况下我们可以通过一种数据备份与恢复的设计方案来约定。设计方案中包含备份的策略。比如每天增量备份,3天全量备份等。

2.全量备份

2.1.备份

先看一下全量备份某个数据库的备份命令,如下:

mysqldump -h 127.0.0.1 -P 8899 -u root -p123456 test --default-character-set=utf8mb4 ---flush-logs > backup.sql
  • h 代表当前数据库服务连接的地址,可根据实际情况修改,127.0.0.1 表示通过数据库本机进行访问;
  • P 代表数据库服务的访问端口,注意这里的P一定是大写字母;
  • u 代表数据库服务访问用户名,可通过数据库服务搭建完成后进行设置;
  • p 代表数据库服务访问密码,通过数据库服务搭建完成后进行设置。注意这里的p一定是小写字母;
  • test 代表需要备份的数据库名称,可根据实际情况修改;
  • default-character-set 代表默认备份数据表及数据的格式,示例中是utf8mb4;
  • flush-logs 代表的是在备份时,使用新的日志文件来记录接下来的数据变动记录信息;可根据实际情况加入。

以上为备份命令的描述信息,接下来我们通过编写shell脚本实现完整的备份。如下:

#!/bin/bash
# 获取当前时间
date_now=$(date "+%Y%m%d-%H%M%S")
# 备份目录
backUpFolder=/data/database_backup/
# 数据库连接用户名
username="root"
# 数据库连接密码
password="123456"
# 需要备份的数据库名
dbname="test"
# 需保留备份数据库文件数量
count=3
#定义备份文件名
fileName="${dbname}_${date_now}.sql"
#定义备份文件目录
backUpFileName="${backUpFolder}/${fileName}"
echo "starting database backup ${dbname} at ${date_now}."
mysqldump -h "${host}" -u "${username}" -p"${password}" ${dbname} --default-character-set=utf8mb4 ---flush-logs  > ${backUpFileName}
#进入到备份文件目录
cd ${backUpFolder}
#压缩备份文件
tar -zcvf ${fileName}.tar.gz ${fileName}
date_end=$(date "+%Y%m%d-%H%M%S")

#删除源文件
rm -rf $backup_path/$database_name-$date_time.sql

echo "$date_time 压缩后删除原文件 delete $backup_path/$database_name-$date_time.sql" >> $backup_path/dump.log

#找出需要删除的备份
delfile=`ls -l -crt  ${backUpFolder}/*.tar.gz | awk '{print $9 }' | head -1`
#判断现在的备份数量是否大于阈值
number=`ls -l -crt  ${backUpFolder}/*.tar.gz | awk '{print $9 }' | wc -l`

if [ $number -gt $count ]
then
  #删除最早生成的备份,只保留count数量的备份
  rm $delfile
  #更新删除文件日志
  echo "$date_time 删除 $count 前的文件 $delfile" >> $backUpFolder/dump.log
fi
echo "backup mysql database finish ${dbname} at ${date_end}."

2.2.恢复

恢复全量备份通常情况下有两种方式,一种通过mysql命令进行备份,另外一种通过连接登录数据库服务以后,通过source命令进行恢复。

2.2.1 mysql命令进行恢复

mysql -h 127.0.0.1 -P 8899 -u root -p123456 test --default-character-set=utf8mb4 < backup.sql

2.2.2 source命令进行恢复

mysql> source /path/bakdup.sql

具体命令参数可以参考备份章节的详解。

3.1.增量备份

首先在进行增量备份之前需要查看一下配置文件,查看 log_bin 是否开启,因为要做增量备份首先要开启 log_bin 。首先,进入到 myslq 命令行,如下:

show variables like '%log_bin%';

输出的内容为:

mysql> show variables like '%log_bin%';
+---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| log_bin                         | OFF   |
| log_bin_basename                |       |
| log_bin_index                   |       |
| log_bin_trust_function_creators | OFF   |
| log_bin_use_v1_row_events       | OFF   |
| sql_log_bin                     | ON    |
+---------------------------------+-------+

这里看到,log_bin选项并没有被打开,这个时候需要通过修改配置文件进行开启。一般mysql配置文件是在/etc/my.cnf 目录下。修改内容为:

[mysqld]
pid-file    = /data/mysql/run/mysqld/mysqld.pid
socket      = /data/mysql/run/mysqld/mysqld.sock
datadir    = /data/mysql/data

#binlog setting,开启增量备份的关键
log-bin=/data/mysql/data/mysql-bin
server-id=1

修改完成以后,重新启动服务。再次查看开启状态,如下:

mysql> show variables like '%log_bin%';
+---------------------------------+------------------------------------+
| Variable_name                   | Value                              |
+---------------------------------+------------------------------------+
| log_bin                         | ON                                 |
| log_bin_basename                | /data/mysql/data/mysql-bin         |
| log_bin_index                   | /data/mysql/data//mysql-bin.index  |
| log_bin_trust_function_creators | OFF                                |
| log_bin_use_v1_row_events       | OFF                                |
| sql_log_bin                     | ON                                 |
+---------------------------------+------------------------------------+

这个时候发现已经开启了,接下来我们就开始学习增量备份的原理吧。首先需要查看当前使用的
mysql_bin.000***.log,通过一下命令查看如下:

show master status;

打印结果如下:

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000015 |      610 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+

当前正在记录日志的文件名为 mysql-bin.000015 。再查看一下当前数据库中用户表的数据情况。查询看一下:

mysql> select * from users;
+-------+------+----+
| name  | sex  | id |
+-------+------+----+
| zone  | 0    |  1 |
| zone1 | 1    |  2 |
| zone2 | 0    |  3 |
+-------+------+----+

紧接着我们插入一条数据:

insert into `zone`.`users` ( `name`, `sex`, `id`) values ( 'zone3', '0', '4');

再次查询users表,如下:

mysql> select * from users;
+-------+------+----+
| name  | sex  | id |
+-------+------+----+
| zone  | 0    |  1 |
| zone1 | 1    |  2 |
| zone2 | 0    |  3 |
| zone3 | 0    |  4 |
+-------+------+----+

紧接着执行一下命令,刷新日志文件如下:

mysqladmin -u root -p123456 flush-logs

此时发生的结果是日志文件从 mysql-bin.000015 变为 mysql-bin.000016,而 mysql-bin.000015 则记录着刚刚 insert 命令的日志。那么到现在为止,其实已经完成了增量备份了。

3.2.恢复备份

现在将备份章节描述的用户表插入的数据删除,效果如下:

delete from `zone`.`users` where `id`='4'
mysql> select * from users;
+-------+------+----+
| name  | sex  | id |
+-------+------+----+
| zone  | 0    |  1 |
| zone1 | 1    |  2 |
| zone2 | 0    |  3 |
+-------+------+----+

执行再次查询发现数据已经被删除了。那么重点来了,想从从 mysql-bin.000015 中恢复刚刚删除的数据:

mysqlbinlog /data/mysql/data/mysql-bin.000015 | mysql -uroot -p123456 zone;

上述命令指定了需要恢复的 mysql_bin 文件,指定了用户名:root 、密码:123456 、数据库名:zone。效果如下:

mysql> select * from users;
+-------+------+----+
| name  | sex  | id |
+-------+------+----+
| zone  | 0    |  1 |
| zone1 | 1    |  2 |
| zone2 | 0    |  3 |
| zone3 | 0    |  4 |
+-------+------+----+

整个增量备份的操作流程都在这里了。

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言