今日預(yù)告：
1、企業(yè)的備份恢復(fù)案例（mysqldump+binlog）
《年終故障恢復(fù)演練》
案例背景：
某種小型互聯(lián)網(wǎng)公司认境，MySQL-5.7.26聘萨，CentOS-7.6，數(shù)據(jù)量級(jí)80G朦促，每日數(shù)據(jù)增量5-6M
備份策略：
每天myqldump全備+binlog備份膝晾，每天23：00進(jìn)行
故障描述：
周三下午2點(diǎn)，由于某原因?qū)е聰?shù)據(jù)損壞
處理思路：
1. 掛出維護(hù)頁
2. 評(píng)估數(shù)據(jù)損壞狀態(tài)
2.1 全部丟失 ---> 推薦直接生產(chǎn)恢復(fù)
2.2 部分丟失 ---> （1）從備份中導(dǎo)出單表數(shù)據(jù)
（2）測試庫進(jìn)行全備恢復(fù)
3. 恢復(fù)全備务冕，將數(shù)據(jù)追溯到周二晚上23：00狀態(tài)
4. 截取并恢復(fù)從備份時(shí)起血当，到下午兩點(diǎn)誤刪除之前的binlog
5. 校驗(yàn)數(shù)據(jù)一致性
6. 撤回維護(hù)頁，恢復(fù)生產(chǎn)禀忆。
處理結(jié)果：
1. 經(jīng)過30-40分鐘處理臊旭，業(yè)務(wù)恢復(fù)
2. 評(píng)估此次故障處理的合理性和實(shí)用性
案例模擬：
1. 進(jìn)行周二全備
[root@db01 ~]# mysqldump -uroot -p123 -A -R --triggers -E --master-data=2 --single-transaction >/data/backup/full.sql
[root@db01 /data/backup]# vim full.sql
SET @@GLOBAL.GTID_PURGED='1357a112-8d94-11e9-8bda-000c29c21dbb:1-12';
--
-- Position to start replication or point-in-time recovery from
--
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000007', MASTER_LOG_POS=194;
--
2. 模擬全備之后下午兩點(diǎn)前的業(yè)務(wù)操作
mysql> create database mdp charset utf8mb4;
mysql> use mdp
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
mysql> insert into t1 values(11),(12),(13);
mysql> commit;
mysql> update t1 set id=20 where id>10;
mysql> commit;
3. 模擬損壞數(shù)據(jù)庫
rm-rf /data/mysql/data/*
pkill mysqld
rm -rf /data/mysql/data/*
4. 初始化數(shù)據(jù)
[root@db01 /data/mysql/data]# mysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/mysql/data
[root@db01 /data/mysql/data]# /etc/init.d/mysqld start
5. 進(jìn)行全備恢復(fù)
set sql_log_bin=0; #關(guān)閉日志
source /data/backup/full.sql #恢復(fù)
flush privileges; #刷新
6. 找日志起點(diǎn)和終點(diǎn)
image.png
#截取日志
mysqlbinlog --skip-gtids --include-gtids='1357a112-8d94-11e9-8bda-000c29c21dbb:13-17' /data/binlog/mysql-bin.000007 >/data/backup/bin.sql
7. 恢復(fù)日志
set sql_log_bin=0;
source /data/backup/bin.sql;
show databases;
擴(kuò)展：從全備中導(dǎo)出單表備份
1、獲得表結(jié)構(gòu)
sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q' full.sql>createtable.sql
2箩退、獲得INSERT INTO 語句离熏，用于數(shù)據(jù)的恢復(fù)
grep -i 'INSERT INTO `city`' full.sqll >data.sql
3.獲取單庫的備份
sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql
image.png
作業(yè)：
模仿以上備份命令，書寫備份腳本戴涝。
2滋戳、XBK的應(yīng)用
2.1 安裝
2.1.1 安裝依賴包：
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev
2.1.2 下載軟件并安裝
#上傳percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
[root@db01 ~]# yum install -y percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
[root@db01 ~]# innobackupex --version
2.2 備份命令介紹
xtrabackup
innobackupex *****
2.3 備份方式——物理備份
（1）對(duì)于非Innodb表（比如 myisam）是，鎖表cp數(shù)據(jù)文件啥刻，屬于一種溫備份奸鸯。
（2）對(duì)于Innodb的表（支持事務(wù)的），不鎖表可帽，拷貝數(shù)據(jù)頁府喳，最終以數(shù)據(jù)文件的方式保存下來，把一部分redo和undo一并備走蘑拯，屬于熱備方式钝满。
面試題： xbk 在innodb表備份恢復(fù)的流程
- xbk備份執(zhí)行的瞬間,立即觸發(fā)ckpt,已提交的數(shù)據(jù)臟頁,從內(nèi)存刷寫到磁盤,并記錄此時(shí)的LSN號(hào)
- 備份時(shí)扰肌，拷貝磁盤數(shù)據(jù)頁，并且記錄備份過程中產(chǎn)生的redo和undo一起拷貝走,也就是checkpoint LSN之后的日志
- 在恢復(fù)之前耕腾，模擬Innodb“自動(dòng)故障恢復(fù)”的過程蛆封，將redo（前滾）與undo（回滾）進(jìn)行應(yīng)用
- 恢復(fù)過程是cp 備份到原來數(shù)據(jù)目錄下
精簡說明
備份過程：
1. ckpt ，記錄ckpt后LSN ,From lsn
2. 拷貝數(shù)據(jù)頁 碎捺，保存為數(shù)據(jù)文件
3. 自動(dòng)將備份過程redo路鹰，會(huì)一并備份走，提取最后的LSN ,to LSN
恢復(fù)：
其實(shí)就是模擬了CSR過程
對(duì)比LAST LSN ,From lsn
使用redo進(jìn)行前滾收厨，對(duì)未提交的事務(wù)進(jìn)行回滾
最后得到一個(gè)一致性備份
2.4 innobackupex使用
2.4.1 全備
[root@mysql ~]# mkdir -p /data/backup/bak
方法一：
[root@db01 ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=123 /data/bak
方法二：
必須在配置文件加上client
vim /etc/my.cnf
[mysqld]
[client]
socket=/tmp/mysql.sock
[root@db01 backup]# innobackupex --user=root --password=123 /data/bak
模擬刪除數(shù)據(jù)：
[root@db01 /data/bak]# pkill mysqld
[root@db01 /data/bak]# \rm -rf /data/mysql/data/*
恢復(fù)前準(zhǔn)備：
[root@mysql /data/bak]# innobackupex --apply-log /data/bak/2019-06-26_12-16-35/
恢復(fù)：
[root@mysql /data/bak/2019-06-26_12-13-17]# cp -a * /data/mysql/data/
[root@mysql /data/mysql/data]# chown -R mysql. /data/
恢復(fù)測試：
[root@mysql /data/mysql/data]# /etc/init.d/mysqld start
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| bao |
| bbs |
| binlog |
| gg |
| mdb |
| mysql |
| oldboy |
| oldboy1 |
| oldguo |
| performance_schema |
| school |
| sys |
| wordpress |
| world |
+--------------------+
15 rows in set (0.00 sec)
2.4.2 自主定制備份路徑名
[root@db01 backup]#
innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)
備份集中多出來的文件：
-rw-r----- 1 root root 24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r----- 1 root root 119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r----- 1 root root 489 Jun 29 09:59 xtrabackup_info
-rw-r----- 1 root root 2560 Jun 29 09:59 xtrabackup_logfile
xtrabackup_binlog_info ：（備份時(shí)刻的binlog位置）
[root@db01 full]# cat xtrabackup_binlog_info
mysql-bin.000003 536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
記錄的是備份時(shí)刻晋柱，binlog的文件名字和當(dāng)時(shí)的結(jié)束的position，可以用來作為截取binlog時(shí)的起點(diǎn)诵叁。
xtrabackup_checkpoints ：
backup_type = full-backuped
from_lsn = 0 上次所到達(dá)的LSN號(hào)(對(duì)于全備就是從0開始,對(duì)于增量有別的顯示方法)
to_lsn = 160683027 備份開始時(shí)間(ckpt)點(diǎn)數(shù)據(jù)頁的LSN
last_lsn = 160683036 備份結(jié)束后雁竞，redo日志最終的LSN
compact = 0
recover_binlog_info = 0
（1）備份時(shí)刻，立即將已經(jīng)commit過的拧额，內(nèi)存中的數(shù)據(jù)頁刷新到磁盤(CKPT).開始備份數(shù)據(jù)碑诉，數(shù)據(jù)文件的LSN會(huì)停留在to_lsn位置。
（2）備份時(shí)刻有可能會(huì)有其他的數(shù)據(jù)寫入侥锦，已備走的數(shù)據(jù)文件就不會(huì)再發(fā)生變化了进栽。
（3）在備份過程中，備份軟件會(huì)一直監(jiān)控著redo的undo恭垦，如果一旦有變化會(huì)將日志也一并備走快毛，并記錄LSN到last_lsn。
從to_lsn ----》last_lsn 就是番挺，備份過程中產(chǎn)生的數(shù)據(jù)變化唠帝。
2.4.3 XBK 增量備份
備份方式：
基于上次的備份的增量
增量備份不能單獨(dú)恢復(fù)，必須合并到全備中建芙，一起恢復(fù)没隘。
1. 周日全備
[root@db01 /data/bak]#
innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)
2. 模擬周一數(shù)據(jù)變化
mysql> create database xbk charset utf8mb4;
mysql> use xbk
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
3. 周一晚上增量備份
[root@db01 /data/bak]#
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full_2019-06-26 /data/bak/inc_$(date +%F)
4. 模擬周二白天數(shù)據(jù)變化
mysql> use xbk;
mysql> create table t2(id int);
mysql> insert into t2 values(1),(2),(3);
mysql> commit;
5. 周二晚上增量備份
[root@db01 /data/bak]#
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc_2019-06-26 /data/bak/inc2_$(date +%F)
[root@db01 /data/bak]# cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 104997435
last_lsn = 104997444
compact = 0
recover_binlog_info = 0
============================
backup_type = incremental
from_lsn = 104997435
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
============================
backup_type = incremental
from_lsn = 105004202
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0
2.4.5 XBK增量恢復(fù)演示
思路：
合并所有增量到全備
每個(gè)XBK備份都需要恢復(fù)準(zhǔn)備（prepare）
--apply-log --redo-only
1. 整理全備
[root@db01 /data/bak]#
innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/
2. 整理并合并周一增量到全備
[root@db01 /data/bak]#
innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc_2019-06-26 /data/bak/full_2019-06-26/
[root@db01 /data/bak]# cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoints
backup_type = log-applied
from_lsn = 0
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
============================
backup_type = incremental
from_lsn = 104997435
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
============================
backup_type = incremental
from_lsn = 105004202
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0
3. 整理并合并周二的增量到全備
[root@db01 /data/bak]#
innobackupex --apply-log --incremental-dir=/data/bak/inc2_2019-06-26 /data/bak/full_2019-06-26/
[root@db01 /data/bak]# cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0
backup_type = incremental
from_lsn = 104997435
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
backup_type = incremental
from_lsn = 105004202
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0
4. 再次整理全備
[root@db01 /data/bak]#
innobackupex --apply-log /data/bak/full_2019-06-26/
[root@db01 /data/bak]# cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0
backup_type = incremental
from_lsn = 104997435
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
backup_type = incremental
from_lsn = 105004202
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0
5. 破壞數(shù)據(jù)庫，并恢復(fù)數(shù)據(jù)
[root@db01 /data/bak]# pkill mysqld
[root@db01 /data/bak]# \rm -rf /data/mysql/data/*
恢復(fù)數(shù)據(jù)
[root@db01 /data/bak]# innobackupex --copy-back /data/bak/full_2019-06-26
[root@db01 /data/mysql/data]# chown -R mysql.mysql /data/*
[root@db01 /data/mysql/data]# /etc/init.d/mysqld start
3禁荸、企業(yè)備份恢復(fù)案例（ XBK full + inc + binlog ）
案例背景:
某中型互聯(lián)網(wǎng)公司右蒲。
MySQL 5.7.26 , Centos 7.6 ,數(shù)據(jù)量級(jí)600G,每日數(shù)據(jù)增量15-50M。
備份策略:
周日XBK全備+周一到周六inc增量+binlog備份,每天23:00進(jìn)行赶熟。
故障描述:
周三下午2點(diǎn),數(shù)據(jù)由于某原因數(shù)據(jù)損壞瑰妄。
處理思路：
- 掛出維護(hù)頁
- 評(píng)估一下數(shù)據(jù)損壞狀態(tài)
2.1 全部丟失->推薦直接生產(chǎn)恢復(fù)
2.2 部分丟失- 整理合并所有備份：full + inc1 + inc2
- 截取 周二晚上到周三下午故障點(diǎn)的binlog日志
- 恢復(fù)全備，恢復(fù)binlog
- 檢查數(shù)據(jù)完整性
- 恢復(fù)業(yè)務(wù)
處理結(jié)果：
- 經(jīng)過70-80分鐘處理映砖，業(yè)務(wù)恢復(fù)
- 評(píng)估此次故障
案例模擬：
1. 模擬周日全備
[root@db01 ~]#
innobackupex --user=root --password=123 --no-timestamp /data/bak/full
2. 模擬周一的數(shù)據(jù)變化
mysql> create database hisoss charset utf8mb4;
mysql> use hisoss;
mysql> create table his_order(id int);
mysql> insert into his_order values(1),(2),(3);
mysql> commit;
3. 周一增量備份
[root@db01 /data/bak]#
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full /data/bak/inc1
4. 模擬周二的數(shù)據(jù)變化
mysql> use hisoss;
mysql> insert into his_order values(11),(22),(33);
mysql> commit;
5. 周二的增量備份
[root@db01 ~]#
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc1 /data/bak/inc2
6. 模擬周三的數(shù)據(jù)變化
mysql> use hisoss;
mysql> insert into his_order values(111),(222),(333);
mysql> commit;
7. 有一個(gè)傻子间坐，把數(shù)據(jù)庫data目錄給rm掉了
pkill mysqld
\rm -rf /data/mysql/data/*
8. 整理、合并備份
8.1 整理全備
[root@db01 /data/mysql/data]#
innobackupex --apply-log --redo-only /data/bak/full
8.2 inc1 合并并整理到full中
[root@db01 ~]#
innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc1 /data/bak/full
8.3 inc2 合并并整理到full中
[root@db01 ~]#
innobackupex --apply-log --incremental-dir=/data/bak/inc2 /data/bak/full
8.4 整體的整理
innobackupex --apply-log /data/bak/full
9. 恢復(fù)數(shù)據(jù)
[root@db01 /data/mysql/data]#
cp -a /data/bak/full/* /data/mysql/data/
10.
image.png
擴(kuò)展：
假如，只是少量數(shù)據(jù)被損壞竹宋，以上方法有哪些不妥的地方劳澄？
image.png
4. MySQL數(shù)據(jù)遷移
4.0 遷移前要考慮的問題
技術(shù)方面
選擇什么工具、方法
非技術(shù)
停機(jī)時(shí)間
回退方案
4.1 換主機(jī)
4.1.1 數(shù)據(jù)量小
思路：
- MDP蜈七，XBK備份出來秒拔，scp到目標(biāo)主機(jī)
- 追加所有備份后的日志
3.申請(qǐng)停機(jī) - 剩余部分的binlog繼續(xù)恢復(fù)（搭建主從的方式來替代）
- 校驗(yàn)數(shù)據(jù)
- 進(jìn)行業(yè)務(wù)割接
4.1.2 數(shù)據(jù)量大
XBK備份出來，scp到目標(biāo)主機(jī)
搭建主從的方式
申請(qǐng)停機(jī)15分鐘
校驗(yàn)數(shù)據(jù)
進(jìn)行業(yè)務(wù)割接
4.2 換版本升級(jí)
例如：
5.6 ---> 5.7
（1）方法一：
建議使用mysqldump邏輯備份方式飒硅，按業(yè)務(wù)庫進(jìn)行分別備份砂缩，排除掉information_schema,performance_schema,sys
（2）方法二：
進(jìn)行過濾復(fù)制，排除掉
information_schema,performance_schema,
4.3 異構(gòu)平臺(tái)——系統(tǒng)不一樣
只能用邏輯備份
4.4 異構(gòu)平臺(tái)——數(shù)據(jù)庫產(chǎn)品不同
Oracle --- OGG ---> MySQL
MySQL --- CSV ---> MongoDB
MySQL --- JSON ---> MongoDB
