1.背景
信息化平台生产上线以后,除了一些日常的功能、服务器运维工作,最核心的工作是对数据安全的管理,特别是业务存储数据。一般情况下我们可以通过一种数据备份与恢复的设计方案来约定。设计方案中包含备份的策略。比如每天增量备份,3天全量备份等。
2.全量备份
2.1.备份
先看一下全量备份某个数据库的备份命令,如下:
mysqldump -h 127.0.0.1 -P 8899 -u root -p123456 test --default-character-set=utf8mb4 ---flush-logs > backup.sql
- h 代表当前数据库服务连接的地址,可根据实际情况修改,127.0.0.1 表示通过数据库本机进行访问;
- P 代表数据库服务的访问端口,注意这里的P一定是大写字母;
- u 代表数据库服务访问用户名,可通过数据库服务搭建完成后进行设置;
- p 代表数据库服务访问密码,通过数据库服务搭建完成后进行设置。注意这里的p一定是小写字母;
- test 代表需要备份的数据库名称,可根据实际情况修改;
- default-character-set 代表默认备份数据表及数据的格式,示例中是utf8mb4;
- flush-logs 代表的是在备份时,使用新的日志文件来记录接下来的数据变动记录信息;可根据实际情况加入。
以上为备份命令的描述信息,接下来我们通过编写shell脚本实现完整的备份。如下:
#!/bin/bash
# 获取当前时间
date_now=$(date "+%Y%m%d-%H%M%S")
# 备份目录
backUpFolder=/data/database_backup/
# 数据库连接用户名
username="root"
# 数据库连接密码
password="123456"
# 需要备份的数据库名
dbname="test"
# 需保留备份数据库文件数量
count=3
#定义备份文件名
fileName="${dbname}_${date_now}.sql"
#定义备份文件目录
backUpFileName="${backUpFolder}/${fileName}"
echo "starting database backup ${dbname} at ${date_now}."
mysqldump -h "${host}" -u "${username}" -p"${password}" ${dbname} --default-character-set=utf8mb4 ---flush-logs > ${backUpFileName}
#进入到备份文件目录
cd ${backUpFolder}
#压缩备份文件
tar -zcvf ${fileName}.tar.gz ${fileName}
date_end=$(date "+%Y%m%d-%H%M%S")
#删除源文件
rm -rf $backup_path/$database_name-$date_time.sql
echo "$date_time 压缩后删除原文件 delete $backup_path/$database_name-$date_time.sql" >> $backup_path/dump.log
#找出需要删除的备份
delfile=`ls -l -crt ${backUpFolder}/*.tar.gz | awk '{print $9 }' | head -1`
#判断现在的备份数量是否大于阈值
number=`ls -l -crt ${backUpFolder}/*.tar.gz | awk '{print $9 }' | wc -l`
if [ $number -gt $count ]
then
#删除最早生成的备份,只保留count数量的备份
rm $delfile
#更新删除文件日志
echo "$date_time 删除 $count 前的文件 $delfile" >> $backUpFolder/dump.log
fi
echo "backup mysql database finish ${dbname} at ${date_end}."
2.2.恢复
恢复全量备份通常情况下有两种方式,一种通过mysql命令进行备份,另外一种通过连接登录数据库服务以后,通过source命令进行恢复。
2.2.1 mysql命令进行恢复
mysql -h 127.0.0.1 -P 8899 -u root -p123456 test --default-character-set=utf8mb4 < backup.sql
2.2.2 source命令进行恢复
mysql> source /path/bakdup.sql
具体命令参数可以参考备份章节的详解。
3.1.增量备份
首先在进行增量备份之前需要查看一下配置文件,查看 log_bin 是否开启,因为要做增量备份首先要开启 log_bin 。首先,进入到 myslq 命令行,如下:
show variables like '%log_bin%';
输出的内容为:
mysql> show variables like '%log_bin%';
+---------------------------------+-------+
| Variable_name | Value |
+---------------------------------+-------+
| log_bin | OFF |
| log_bin_basename | |
| log_bin_index | |
| log_bin_trust_function_creators | OFF |
| log_bin_use_v1_row_events | OFF |
| sql_log_bin | ON |
+---------------------------------+-------+
这里看到,log_bin选项并没有被打开,这个时候需要通过修改配置文件进行开启。一般mysql配置文件是在/etc/my.cnf 目录下。修改内容为:
[mysqld]
pid-file = /data/mysql/run/mysqld/mysqld.pid
socket = /data/mysql/run/mysqld/mysqld.sock
datadir = /data/mysql/data
#binlog setting,开启增量备份的关键
log-bin=/data/mysql/data/mysql-bin
server-id=1
修改完成以后,重新启动服务。再次查看开启状态,如下:
mysql> show variables like '%log_bin%';
+---------------------------------+------------------------------------+
| Variable_name | Value |
+---------------------------------+------------------------------------+
| log_bin | ON |
| log_bin_basename | /data/mysql/data/mysql-bin |
| log_bin_index | /data/mysql/data//mysql-bin.index |
| log_bin_trust_function_creators | OFF |
| log_bin_use_v1_row_events | OFF |
| sql_log_bin | ON |
+---------------------------------+------------------------------------+
这个时候发现已经开启了,接下来我们就开始学习增量备份的原理吧。首先需要查看当前使用的
mysql_bin.000***.log,通过一下命令查看如下:
show master status;
打印结果如下:
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000015 | 610 | | | |
+------------------+----------+--------------+------------------+-------------------+
当前正在记录日志的文件名为 mysql-bin.000015 。再查看一下当前数据库中用户表的数据情况。查询看一下:
mysql> select * from users;
+-------+------+----+
| name | sex | id |
+-------+------+----+
| zone | 0 | 1 |
| zone1 | 1 | 2 |
| zone2 | 0 | 3 |
+-------+------+----+
紧接着我们插入一条数据:
insert into `zone`.`users` ( `name`, `sex`, `id`) values ( 'zone3', '0', '4');
再次查询users表,如下:
mysql> select * from users;
+-------+------+----+
| name | sex | id |
+-------+------+----+
| zone | 0 | 1 |
| zone1 | 1 | 2 |
| zone2 | 0 | 3 |
| zone3 | 0 | 4 |
+-------+------+----+
紧接着执行一下命令,刷新日志文件如下:
mysqladmin -u root -p123456 flush-logs
此时发生的结果是日志文件从 mysql-bin.000015 变为 mysql-bin.000016,而 mysql-bin.000015 则记录着刚刚 insert 命令的日志。那么到现在为止,其实已经完成了增量备份了。
3.2.恢复备份
现在将备份章节描述的用户表插入的数据删除,效果如下:
delete from `zone`.`users` where `id`='4'
mysql> select * from users;
+-------+------+----+
| name | sex | id |
+-------+------+----+
| zone | 0 | 1 |
| zone1 | 1 | 2 |
| zone2 | 0 | 3 |
+-------+------+----+
执行再次查询发现数据已经被删除了。那么重点来了,想从从 mysql-bin.000015 中恢复刚刚删除的数据:
mysqlbinlog /data/mysql/data/mysql-bin.000015 | mysql -uroot -p123456 zone;
上述命令指定了需要恢复的 mysql_bin 文件,指定了用户名:root 、密码:123456 、数据库名:zone。效果如下:
mysql> select * from users;
+-------+------+----+
| name | sex | id |
+-------+------+----+
| zone | 0 | 1 |
| zone1 | 1 | 2 |
| zone2 | 0 | 3 |
| zone3 | 0 | 4 |
+-------+------+----+
整个增量备份的操作流程都在这里了。