Bootstrap

mysql中的日志管理 日志备份与恢复

MySQL日志管理
日志开启方式有两种:通过配置文件或者是通过命令
通过命令修改开启的日志是临时的,关闭或重启服务后就会关闭

一、MySQL常用日志类型及开启

1、错误日志

用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启

2、通用查询日志

用来记录MySQL的所有连接和语句,默认是关闭的

3、二进制日志(binlog)

用来记录所有当MySQL启动、停止或运行时发送的错误信息,默认是关闭的

log-bin=mysql-bin

4、慢查询日志

用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便于优化,默认是关闭的

二、查看日志状态

1、查看通用查询日志是否开启

mysql> show variables like 'general%';
+------------------+------------------------------+
| Variable_name    | Value                        |
+------------------+------------------------------+
| general_log      | OFF                          |
| general_log_file | /var/lib/mysql/localhost.log |
+------------------+------------------------------+

2、查看二进制日志是否开启

mysql> show variables like 'log_bin%';

3、查看慢查询日功能是否开启

mysql> show variables like '%slow%';
+---------------------------+-----------------------------------+
| Variable_name             | Value                             |
+---------------------------+-----------------------------------+
| log_slow_admin_statements | OFF                               |
| log_slow_slave_statements | OFF                               |
| slow_launch_time          | 2                                 |
| slow_query_log            | OFF                               |
| slow_query_log_file       | /var/lib/mysql/localhost-slow.log |
+---------------------------+-----------------------------------+

查看慢查询时间设置

mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)

在数据库中设置开启慢查询的方法

mysql> set global slow_query_log=ON;
Query OK, 0 rows affected (0.01 sec)
#该方法重启服务失效

该方法重启服务失效

一、数据备份的重要性

备份的主要目的是灾难恢复
在生产环境中,数据的安全性至关重要 任何数据的丢失都可能产生严重的后果

造成数据丢失的原因:

1、程序错误
2、人为操作错误
3、运算错误
4、磁盘故障
5、灾难(火灾、地震、盗窃等)

二、数据库备份的分类

1、从物理与逻辑的角度,备份可分为

1)、物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份

物理备份方法:
1.冷备份:是在关闭数据库的时候进行的
2.热备份:数据库处于运行状态,依赖于数据库的日志文件
3.温备份:数据库锁定表格(不可写入但可读)的状态下进行备份操作

2)、逻辑备份:对数据库逻辑组件(如:表等数据库对象)的备份

2、从数据库的备份策略角度,备份可分为

1)、完全备份:每次对数据库进行完整的备份

完全备份是对整个数据库、数据库结构和文件结构的备份。
保存的是备份完成时刻的数据库。
是差异备份与增量备份的基础。

2)、差异备份:备份自从上次完全备份之后被修改过的文件

3)、增量备份:只要在上次完全备份或者增量备份后被修改的文件才会被备份

三、常见的备份方法

1、物理冷备

备份时数据库处于关闭状态,直接打包数据库文件
备份速度快,恢复时也是最简单的
关闭MySQL数据库
使用tar命令直接打包数据库文件夹
直接替换现有的MySQL目录即可

2、专用备份工具mydump或者mysqlhotcopy

mysqldump常用的逻辑备份工具
MySQL自带的备份工具,可实现对MySQL的备份
可以将指定的库、表导出为SQL脚本
使用命令mysql导入备份的数据
mysqlhotcopy仅拥有备份myisam和archive表

3、启动二进制日志进行增量备份

进行增量备份,需要刷新二进制日志

4、第三方工具备份

免费的MySQL热备份软件Percona XtraBackup

四、MySQL完全备份与恢复

实验环境

mysql5.7 centos8.5 10.1.1.28

[root@test28 ~]# mysql -uroot -pP@ssword123
mysql> use school;
mysql> create table if not exists class1(id int(4) not null auto_increment,name varchar(10) not null,sex char(10) not null,hobby varchar(50),primary key(id));
Query OK, 0 rows affected (0.01 sec)

MySQL 完全备份

InnoDB存储引擎的数据库在磁盘上存储成三个文件:db.opt(表属性文件)、表名.frm(表结构文件)、表名.ibd(表数据文件)。

1.物理冷备份与恢复

[root@test28 ~]# systemctl stop mysqld
[root@test28 ~]# yum -y install xz

压缩备份

压缩备份

[root@test28 ~]# tar jcvf /opt/mysql_all_$(date +%F).tar.xz /var/lib/mysql

解压恢复

[root@test28 ~]# tar jxvf /opt/mysql_all_2023-12-07.tar.xz -C /var/lib/mysql
[root@test28 ~]# systemctl restart mysqld

2.mysqldump 备份与恢复

(1)完全备份一个或多个完整的库(包括其中所有的表)

mysqldump -u root -p[密码] --databases 库名1 [库名2] … > /备份路径/备份文件名.sql #导出的就是数据库脚本文件

示例:

[root@test28 ~]# mysqldump -uroot -pP@ssword123 --databases school > /opt/school.sql
[root@test28 ~]# mysqldump -uroot -pP@ssword123 --databases mysql school > /opt/mysql-school.sql

(2)完全备份 MySQL 服务器中所有的库

mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql

示例:

[root@test28 opt]# mysqldump -uroot -pP@ssword123 --all-databases > /opt/all.sql
[root@test28 opt]# ls
all.sql  mysql_all_2023-12-07.tar.xz  mysql-school.sql  school.sql

(3)完全备份指定库中的部分表

mysqldump -u root -p[密码] 库名 [表名1] [表名2] … > /备份路径/备份文件名.sql
[root@test28 opt]# mysqldump -uroot -pP@ssword123 school class1 > /opt/school_class1.sql
#使用“-d”选项,说明只保存数据库的表结构
#不使用“-d”选项,说明表数据也进行备份

(4)查看备份文件

[root@test28 opt]# grep -v "^--" /opt/school_class1.sql |grep -v "^/"|grep -v "^$"
DROP TABLE IF EXISTS `class1`;
CREATE TABLE `class1` (
  `id` int(4) NOT NULL AUTO_INCREMENT,
  `name` varchar(10) NOT NULL,
  `sex` char(10) NOT NULL,
  `hobby` varchar(50) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=latin1;
LOCK TABLES `class1` WRITE;
INSERT INTO `class1` VALUES (1,'user1','male','running'),(2,'user1','female','singing');
UNLOCK TABLES;

完全备份

1、恢复数据库

[root@test28 ~]# mysql -uroot -pP@ssword123 -e 'drop database school;'
#“-e”选项,用于指定连接 MySQL 后执行的命令,命令执行完后自动退出
[root@test28 ~]# mysql -uroot -pP@ssword123 < /opt/school.s
[root@test28 ~]# mysql -uroot -pP@ssword123 -e 'show databases;'
mysql: [Warning] Using a password on the command line interface can be insecure.
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| school             |

2、恢复数据表

[root@test28 ~]# mysql -uroot -pP@ssword123 -e 'drop table school.class1;'
[root@test28 ~]# mysql -uroot -pP@ssword123 -e 'show tables from school;'
[root@test28 ~]# mysql -uroot -pP@ssword123 school < /opt/school_class1.sql
[root@test28 ~]# mysql -uroot -pP@ssword123 -e 'show tables from school;'
mysql: [Warning] Using a password on the command line interface can be insecure.
+------------------+
| Tables_in_school |
+------------------+
| class1           |
+------------------+

五、MySQL 增量备份与恢复

MySQL 增量备份

1、开启二进制日志功能

[root@test28 ~]#vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format = MIXED				
server-id = 1
[root@test28 ~]# systemctl restart mysqld
[root@test28 ~]# ls -l /var/lib/mysql/mysql-bin.*
-rw-r----- 1 mysql mysql 154 12月  7 20:11 /var/lib/mysql/mysql-bin.000001
-rw-r----- 1 mysql mysql  19 12月  7 20:11 /var/lib/mysql/mysql-bin.index

#二进制日志(binlog)有3种不同的记录格式:STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认格式是STATEMENT

2、可每周对数据库或表进行完全备份

[root@test28 ~]# mysqldump -uroot -pP@ssword123 school class1 > /opt/school_class1_$(date +%F).sql
[root@test28 ~]# mysqldump -uroot -pP@ssword123 --all-databases school  > /opt/school_$(date +%F).sql

3、可每天进行增量备份操作,生成新的二进制日志文件

[root@test28 ~]# cd /var/lib/mysql
[root@test28 mysql]# ls
auto.cnf         client-key.pem  ib_logfile1         mysql-bin.000001  performance_schema  server-cert.pem
ca-key.pem       ib_buffer_pool  ibtmp1              mysql-bin.index   private_key.pem     server-key.pem
ca.pem           ibdata1         localhost-slow.log  mysql.sock        public_key.pem      sys
client-cert.pem  ib_logfile0     mysql               mysql.sock.lock   school              var
[root@test28 mysql]# mysqldump -uroot -pP@ssword123 flush-logs

4、插入新数据,以模拟数据的增加或变更

mysql> use school
mysql> insert class1 values(4,'user4','male','reading');
Query OK, 1 row affected (0.00 sec)
SS1 values(3,'user3','male','game');
insert into CLASS1 values(4,'user4','female','reading');

5、再次生成新的二进制日志文件

[root@test28 ~]#mysqldump -uroot -pP@ssword123 school class1 --flush-logs
[root@test28 mysql]# ls
auto.cnf         client-key.pem  ib_logfile1         mysql-bin.000001  mysql.sock.lock     school           var
ca-key.pem       ib_buffer_pool  ibtmp1              mysql-bin.000002

步骤4数据库数据发生变化则保存在mysql-bin.000002文件中

6、查看二进制日志文件的内容

[root@test28 mysql]# cp /var/lib/mysql/mysql-bin.000002 /opt/
[root@test28 ~]# cd /opt
[root@test28 opt]# ls
all.sql                      mysql-bin.000002  school_2023-12-07.sql         school_class1.sql
mysql_all_2023-12-07.tar.xz  mysql-school.sql  school_class1_2023-12-07.sql  school.sql
[root@test28 opt]# mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
;