YY-LIN 发表于 2018-10-9 06:18:31

Mysql 数据库备份与恢复

  今天有点时间,自己总结下mysql备份的几种方法以备查阅!
  生产环境中数据无疑是一个公司的命脉,作为一个运维工程师无法保证企业数据的安全,那么是一个不合格的工程师。我们如何保证数据不丢失、或者丢失后快速恢复呢?下面介绍mysql数据库备份和恢复方法。
  目录大纲
  一、Mysql 基础知识
  二、CP/tar 物理备份还原
  三、Mysqldump逻辑备份
  四、使用lvm2快照备份
  五、使用Xtrabackup备份
  一、MYSQL基础知识总结
  
  1、为什么需要备份数据?
  生成环境中我们的数据库可能会遭遇各种各样的不测导致数据丢失,大概有几种情况(硬件故障、软件故障、自然灾害、******、误操作(占比最大))所以,为了在数据丢失后能恢复数据,我们就必须定期备份数据,备份数据的策略要根据不同的企业场景进行定制,我们可以根据这几个因素取定制如何自己企业的备份策略(如:数据库的大小、能容忍的数据丢失度、能容忍的恢复时间、需要恢复的数据)
  2、数据备份分类
  根据数据库的完整度分: 完全备份 和部分备份(增量备份和差异备份)
  完全备份:备份整个数据库集,
  部分备份:备份部分数据库集(如,指备份某个数据库,或者某个表)
  增量备份:备份自上一次备份(增量或完全)以来变化的数据;特定:节约空间、还原较麻烦。
  差异备份:备份自上一次完全备份以来变化的数据;特定:浪费空间,还原比增量还原简单。
  根据备份时数据库的状态分: 热备份、温备份、冷备份
  热备份:指数据库备份时,数据库读写不受影响
  温备份:指数据库备份时,数据库只读,不能写操作
  冷备份:指数据库备份时,数据库不能进行读写操作,即数据库要下线。
  数据库的不同的存储引擎支持不同的备份方式
  MyISAM :支持 温备、冷备
  InnoDB :支持 热备 、温备、冷备
  根据备份的手段分:物理备份和逻辑备份
  物理备份:通过tar,cp等命令直接打包复制数据库的数据文件达到备份的效果。
  逻辑备份:通过特定的工具从数据库中导出数据或SQL语句并另存备份(会丢失数据的精度)
  3、备份需要考虑的问题
  (1)我们需要备份什么数据?
  数据、二进制日志,innodb事务日志、代码(存储过程、函数库、触发器、调度器)、配置文件
  (2)备份工具如何选择
  mysqldump:逻辑备份工具,适用于所有的存储引擎,支持温备份、完全备份和部分备份;innodb支持热备份。
  cp\tar:物理备份工具,适用于所有存储引擎,冷备、完全备份、部分备份
  lvm2 snapshot:几乎热备,借助文件系统管理工具进行备份
  xtrabackup:一款非常强大的innodb/xtraDB热备份工具,支持完全备份、增量备份,由perconat提供
  4、设计合适的备份策略
  针对不同的企业场景,制定不同的备份策略对数据库进行备份,备份策略一般为三种:
  直接cp\tar 复制数据库文件 (适合数据库较小,直接复制)
  mysqldump+复制binlogs(数据量一般,先mysqldump对数据完备,然后定期备份日志文)
  lvm2快照+复制binlogs (数据量一般,不过分影响业务运行,使用LVM2快照完备后,增量备份日志)
  xtrabackup (数据量大100G以上,不过分影响业务运行使用xtrabackup进行完全备份后,定期进行增                           量或差异备份)
  二、CP/tar 物理备份还原
  
  yum安装mysql,默认数据库路径/var/lib/msyql,如下

  查看当前数据库,我们的数据库为yema ;

  查看yema数据库中所有表,ym_001、 ym_002

  向数据库施加读锁
  mysql> FLUSH TABLES WITH READ LOCK;
  Query OK, 0 rows affected (0.00 sec)
  开始备份数据文件
  # mkdir /backup       ###创建备份数据库目录
  # cp -a /var/lib/mysql/* /backup   ###保留权限的拷贝源数据文件
  # ls /backup
  ibdata1      ib_logfile1mysql.sock         test
  ib_logfile0mysql      nginx-1.12.0.tar.gzyema
  #
  模拟数据丢失并恢复
  # rm -rf /var/lib/mysql/*
  # ls /var/lib/mysql/
  #
  # service mysqld restart
  Stopping mysqld:                                          
  Initializing MySQL database:Installing MySQL system tables...
  OK         重启mysql,如果是编译安装的应该不能启动,如果是rpm安装的则重新初始化数据库
  Filling help tables...
  OK
  ^^^^^^^^
  Please report any problems with the /usr/bin/mysqlbug script!
  
  Starting mysqld:                                          
  You have new mail in /var/spool/mail/root
  重启完成后连接数据库,可以看到数据库初始化完成,yema数据库不存在了!
  #
  mysql> show databases;
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | mysql            |
  | test               |
  +--------------------+
  3 rows in set (0.01 sec)
  mysql>
  将备份的数据还原回去,重启mysql,并重新连接mysql,发现数据库已恢复!!!
  # cp -a /backup/* /var/lib/mysql/
  mysql> show databases;
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | mysql            |
  | test               |
  | yema               |
  +--------------------+
  4 rows in set (0.00 sec)
  mysql> show tables;
  +----------------+
  | Tables_in_yema |
  +----------------+
  | ym_001         |
  | ym_002         |
  +----------------+
  到此,用cp的方式备份、还原数据库就完成了。
  三、Mysqldump逻辑备份+二进制还原
  
  通过mysqldump进行一次完全备份,再修改数据,然后通过二进制日志增量备份,再恢复,需要在mysql配置文件中开启log_bin=on。mysqldump 是一个客户端的逻辑备份工具,可以生成一个重现创建原始数据库和表的sql语句,可以支持所有的存储引擎,对于innodb 支持热备。
  基本语法格式:
  mysqldump db_name 恢复时需要手动CREATE DATABASES
  mysqldump --databases db_name 恢复时不需要手动CREATE DATABASES
  mysqldump --all-databases恢复时不需要手动创建数据库
  其他选项:-E ,--events 备份事件调度器
  -R,--routines 备份存储过程和存储函数
  --triggers,备份表的触发器;--skip-triggers
  --master-data=
  1:记录为CHANGE MASTER TO语句、语句不被注释
  2:记录为注释的CHANGE MASTER TO语句,基于二进制还原只能全库还原
  --flush-logs:日志滚动 ,锁定表完成后执行日志滚动
  查看数据库信息
  mysql> show databases;
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | mysql            |
  | test
  yema            |
  +--------------------+
  3 rows in set (0.00 sec)
  mysql> use yema;
  Reading table information for completion of table and column names
  You can turn off this feature to get a quicker startup with -A
  Database changed
  mysql> show tables;
  +----------------+
  | Tables_in_yema |
  +----------------+
  | ym_001         |
  | ym_002         |
  +----------------+
  2 rows in set (0.00 sec)
  使用mysqldump备份数据库
  #查看当前二进制文件的状态,并记录position的数字
  mysql> show master status;
  +------------------+----------+--------------+------------------+
  | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  +------------------+----------+--------------+------------------+
  | mysql-bin.000003 |      787 |            |                  |
  +------------------+----------+--------------+------------------+
  1 row in set (0.00 sec)
  # mysqldump --all-databases --lock-all-tables >/backup/backup.sql
  #备份数据库到backup.sql 文件中
  #创建一个数据库haha,记录现在的position 值。
  mysql> create database haha;
  Query OK, 1 row affected (0.00 sec)
  mysql> show master status;
  +------------------+----------+--------------+------------------+
  | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  +------------------+----------+--------------+------------------+
  | mysql-bin.000003 |      941 |            |                  |
  +------------------+----------+--------------+------------------+
  # cp /var/lib/mysql/on.000001 /backup
  #备份二进制文件到/backup 目录
  #停止msyql服务,删除所有的数据文件
  #service mysqld stop
  # rm -rf /var/lib/mysql/*
  # ls /var/lib/mysql/
  #
  重新启动mysql服务(如果是编译安装不能启动,rpm安装则会初始化数据库)
  # service mysqld restart
  Stopping mysqld:                                          
  Initializing MySQL database:Installing MySQL system tables...
  OK
  Filling help tables...
  OK
  查看数据库,数据丢失!!!!没有之前的数据库了
  mysql> show databases;
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | mysql            |
  | test               |
  +--------------------+
  3 rows in set (0.00 sec)
  暂时先将二进制日志关闭
  mysql> set sql_log_bin=off;
  Query OK, 0 rows affected (0.00 sec)
  恢复数据库,所需时间根数据库大小而定
  mysql> source /backup/backup.sql
  开启二进制日志
  mysql> set sql_log_bin=on;
  查看数据库信息,发现数据库yema恢复了,但缺少haha.
  mysql> show databases;
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | mysql            |
  | test               |
  | yema               |
  +--------------------+
  4 rows in set (0.00 sec)
  通过二进制日志增量恢复数据(haha), 两个POS点的值非常重要!!!
  # cp /backup/mysql-bin.000003 /var/lib/mysql/
  #mysqlbinlog --start-position=787 --stop-position=941 mysql-bin.000003|mysql
  mysql> show databases;
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | mysql            |
  | test               |
  | yema               |
  | haha               |
  +--------------------+
  4 rows in set (0.00 sec)
  至此 完成了数据的完备+增量恢复!
  四、使用lvm2快照备份
  lvm2-snapshot知识回顾:
  LVM快照是将快照的源分区一个时间点所有文件的元数据进行保存,
  如果源文件没有改变,那么访问快照卷的相应文件则直接指向源分区的源文件;
  如果源文件发生变化,快照卷中与之对应的文件不会发生变化。
  (1)部署LVM环境、添加硬盘并分区
# ls /dev/sd*   #只有以下几块硬盘, 但是我们不重启可以让系统识别新添加的硬盘  /dev/sda/dev/sda1/dev/sda2
  # echo '- - -' > /sys/class/scsi_host/host0/scan
  # echo '- - -' > /sys/class/scsi_host/host1/scan
  # echo '- - -' > /sys/class/scsi_host/host2/scan
  # ls /dev/sd*    #看!sdb识别出来了
  /dev/sda/dev/sda1/dev/sda2/dev/sdb
  # fdisk /dev/sdb   #分区
  …………
  Command (m for help): n
  Command action
  e   extended
  p   primary partition (1-4)
  p
  Partition number (1-4): 1
  First cylinder (1-2610, default 1):
  Using default value 1
  Last cylinder, +cylinders or +size{K,M,G} (1-2610, default 2610): +15G
  Command (m for help): t
  Selected partition 1
  Hex code (type L to list codes): 8e
  Changed system type of partition 1 to 8e (Linux LVM)
  Command (m for help): w

  The partition table has been>  Calling ioctl() to re-read partition table.
  Syncing disks.
  You have new mail in /var/spool/mail/root
  # partx -a /dev/sdb
  BLKPG: Device or resource busy
  error adding partition 1
  (2)创建逻辑卷并挂载
##创建逻辑卷  # pvcreate /dev/sdb1
  Physical volume "/dev/sdb1" successfully created
  # vgcreate myvg /dev/sdb1
  Volume group "myvg" successfully created
  # lvcreate -n mydata -L 5G myvg
  Logical volume "mydata" created.
  # mkfs.ext4 /dev/mapper/myvg-mydata   #格式化
  # mkdir /lvm_data
  # mount /dev/mapper/myvg-mydata /lvm_data#挂载到/lvm_data
  (4)mysql 配置文件设置,并导入数据库
# vim /etc/my.cnf    #修改mysql配置文件的datadir如下  datadir=/lvm_data
  # service mysqld restart#重启MySQL
  查看数据库的信息
  mysql> SHOW DATABASES;    #查看当前的数据库, 我们的数据库为employees
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | employees          |
  | mysql            |
  | test               |
  +--------------------+
  4 rows in set (0.00 sec)
  mysql> USE employees;
  Database changed
  mysql> SHOW TABLES;         #查看当前库中的表
  +---------------------+
  | Tables_in_employees |
  +---------------------+
  | departments         |
  | dept_emp            |
  | dept_manager      |
  | employees         |
  | salaries            |

  |>  +---------------------+
  6 rows in set (0.00 sec)
  mysql> SELECT COUNT(*) FROM employees;   #由于篇幅原因, 我们这里只看一下employees的行数为300024
  +----------+
  | COUNT(*) |
  +----------+
  |   300024 |
  +----------+
  1 row in set (0.05 sec)
  (5)创建快照卷并备份
mysql> FLUSH TABLES WITH READ LOCK;   #锁定所有表  Query OK, 0 rows affected (0.00 sec)
  # lvcreate -L 1G -n mydata-snap -p r -s /dev/mapper/myvg-mydata   #创建快照卷
  Logical volume "mydata-snap" created.
  mysql> UNLOCK TABLES;#解锁所有表
  Query OK, 0 rows affected (0.00 sec)
  # mkdir /lvm_snap#创建文件夹
  # mount /dev/myvg/mydata-snap /lvm_snap/#挂载snap
  mount: block device /dev/mapper/myvg-mydata--snap is write-protected, mounting read-only
  # cd /lvm_snap/
  # ls
  employeesibdata1ib_logfile0ib_logfile1mysqlmysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.indextest
  # tar cf /tmp/mysqlback.tar *#打包文件到/tmp/mysqlback.tar
  # umount /lvm_snap/#卸载snap
  # lvremove myvg mydata-snap#删除snap
  (6)数据恢复
# rm -rf /lvm_data/*  # service mysqld start    #启动MySQL, 如果是编译安装的应该不能启动(需重新初始化), 如果rpm安装则会重新初始化数据库
  mysql> SHOW DATABASES;   #查看数据库, 数据丢失!
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | mysql            |
  | test               |
  +--------------------+
  3 rows in set (0.00 sec)
  # cd /lvm_data/
  # rm -rf * #删除所有文件
  # tar xf /tmp/mysqlback.tar   #解压备份数据库到此文件夹
  # ls#查看当前的文件
  employeesibdata1ib_logfile0ib_logfile1mysqlmysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.indextest
  mysql> SHOW DATABASES;#数据恢复了
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | employees          |
  | mysql            |
  | test               |
  +--------------------+
  4 rows in set (0.00 sec)
  五、使用Xtrabackup备份
  改天继续
  参考文档:http://www.cnblogs.com/SQL888/p/5751631.html
  马哥教育培训教程


页: [1]
查看完整版本: Mysql 数据库备份与恢复