1、企業(yè)備份恢復(fù)案例（mysqldmp+binlog）
案列背景：某中小型互聯(lián)網(wǎng)公司望忆。mysql 5.7.26剥纷，CentOS 7.6 ，數(shù)據(jù)量級80G，每日數(shù)據(jù)增量5-6M
備份策略：每天mysqldump全備+binlog備份，每天23點(diǎn)進(jìn)行
故障描述：周三下午倆點(diǎn)，數(shù)據(jù)庫由于某原因數(shù)損壞位岔。
處理思路：
1、掛出維護(hù)頁
2堡牡、評估一下數(shù)據(jù)損壞的狀態(tài)
1）抒抬、全部丟失--->推薦直接生產(chǎn)恢復(fù)
2）、部分丟失--->1）從備份中導(dǎo)出單表數(shù)據(jù) 2）測試庫進(jìn)行全備恢復(fù)
3晤柄、恢復(fù)全備擦剑，將數(shù)據(jù)追溯到周二晚上23點(diǎn)狀態(tài)
4、截取并恢復(fù)從備份時刻到下午倆點(diǎn)誤刪除之前binlog芥颈。
5惠勒、校驗數(shù)據(jù)一致性
6、撤維護(hù)頁爬坑，恢復(fù)生產(chǎn)纠屋。
處理結(jié)果：
1、經(jīng)過30-40分鐘處理盾计，業(yè)務(wù)恢復(fù)售担，生成故障恢復(fù)報告
2、評估此次故障的處理的合理性和實(shí)用性署辉。
案列模擬：
1族铆、進(jìn)行周二全備
mysqldump -uroot -p1 -A -R --triggers -E --master-data=2 --single-transact
vim full.sql
SET @@GLOBAL.GTID_PURGED='952baf3a-8d93-11e9-a95b-000c299be7b1:1-8';
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000006', MASTER_LOG_POS=194;
2、模擬全備之后到下午倆點(diǎn)前的業(yè)務(wù)操作
mysql> create database mdp charset utf8mb4;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
mysql> insert into t1 values(11),(12),(13);
mysql> commit;
mysql> update t1 set id=20 where id>10;
mysql> commit;
3涨薪、模擬損壞
rm -rf /data/mysql/data/*
pkill mysqld
rm -rf /data/mysql/data/*
4、數(shù)據(jù)初始化
mysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/mysql/data
systemctl start mysqld
5炫乓、進(jìn)行全備恢復(fù)
set sql_log_bin=0;
source /data/backup/full.sql
mysql> flush privileges; 刷新
6刚夺、截取日志
mysqlbinlog --skip-gtids --include-gtids='952baf3a-8d93-11e9-a95b-000c299be7b1:9-13' /data/binlog/mysql-bin.000006 >/data/backup/bin.sql
7献丑、恢復(fù)日志
mysql> set sql_log_bin=0;
mysql> source /data/backup/bin.sql
從全備中導(dǎo)出單表備份
1、獲得表結(jié)構(gòu)
sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q' full.sql>createtable.sql
2侠姑、獲得INSERT INTO 語句创橄，用于數(shù)據(jù)的恢復(fù)
grep -i 'INSERT INTO `city`' full.sqll >data.sql
3.獲取單庫的備份
sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql
2、XBK的應(yīng)用
2.1莽红、備份命令介紹:
xtrabackup
innobackupex ******
2.2 備份方式——物理備份
（1）對于非Innodb表（比如 myisam）是妥畏，鎖表cp數(shù)據(jù)文件，屬于一種溫備份安吁。
（2）對于Innodb的表（支持事務(wù)的）醉蚁，不鎖表，拷貝數(shù)據(jù)頁鬼店，最終以數(shù)據(jù)文件的方式保存下來网棍，
把一部分redo和undo一并備走，屬于熱備方式妇智。
面試題： xbk 在innodb表備份恢復(fù)的流程
0滥玷、xbk備份執(zhí)行的瞬間,立即觸發(fā)ckpt,已提交的數(shù)據(jù)臟頁,從內(nèi)存刷寫到磁盤,并記錄此時的LSN號
1、備份時巍棱，拷貝磁盤數(shù)據(jù)頁惑畴，并且記錄備份過程中產(chǎn)生的redo和undo一起拷貝走,也就是checkpoint LSN之后的日志
2、在恢復(fù)之前航徙，模擬Innodb“自動故障恢復(fù)”的過程如贷，將redo（前滾）與undo（回滾）進(jìn)行應(yīng)用
3、恢復(fù)過程是cp 備份到原來數(shù)據(jù)目錄下
備份過程：
1. ckpt 捉偏，記錄ckpt后LSN ,to lsn
2. 拷貝數(shù)據(jù)頁 倒得，保存為數(shù)據(jù)文件
3. 自動將備份過程redo，會一并備份走夭禽，提取最后的last LSN
恢復(fù)：
其實(shí)就是模擬了CSR過程
對比LAST LSN ,to lsn
使用redo進(jìn)行前滾霞掺，對未提交的事務(wù)進(jìn)行回滾
最后得到一個一致性備份
2.3、innobackupex使用
2.3.1 全備
[root@db01 backup]# innobackupex --user=root --password=123 /data/bak
注意：
備份工具是依賴于/etc/my.cnf
[mysqld]
[client]
[innobackupex]
如果說配置文件沒有在/etc 讹躯，可以如下操作
[root@db01 backup]# innobackupex --defaults-file=xxxxx --user=root --password=123 /data/bak
自主定制備份路徑名
[root@db01 backup]# innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)
備份集中多出來的文件：
-rw-r----- 1 root root 24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r----- 1 root root 119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r----- 1 root root 489 Jun 29 09:59 xtrabackup_info
-rw-r----- 1 root root 2560 Jun 29 09:59 xtrabackup_logfile
xtrabackup_binlog_info ：（備份時刻的binlog位置）
[root@db01 full]# cat xtrabackup_binlog_info
mysql-bin.000003 536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
記錄的是備份時刻菩彬，binlog的文件名字和當(dāng)時的結(jié)束的position，可以用來作為截取binlog時的起點(diǎn)潮梯。
xtrabackup_checkpoints ：
backup_type = full-backuped
from_lsn = 0 上次所到達(dá)的LSN號(對于全備就是從0開始,對于增量有別的顯示方法)
to_lsn = 160683027 備份開始時間(ckpt)點(diǎn)數(shù)據(jù)頁的LSN
last_lsn = 160683036 備份結(jié)束后骗灶，redo日志最終的LSN
compact = 0
recover_binlog_info = 0
（1）備份時刻，立即將已經(jīng)commit過的秉馏，內(nèi)存中的數(shù)據(jù)頁刷新到磁盤(CKPT).開始備份數(shù)據(jù)耙旦，數(shù)據(jù)文件的LSN會停留在to_lsn位置。
（2）備份時刻有可能會有其他的數(shù)據(jù)寫入萝究，已備走的數(shù)據(jù)文件就不會再發(fā)生變化了免都。
（3）在備份過程中锉罐，備份軟件會一直監(jiān)控著redo的undo，如果一旦有變化會將日志也一并備走绕娘，并記錄LSN到last_lsn脓规。
從to_lsn ----》last_lsn 就是，備份過程中產(chǎn)生的數(shù)據(jù)變化.
2.3.2 全備的恢復(fù)
準(zhǔn)備備份（Prepared）
將redo進(jìn)行重做险领，已提交的寫到數(shù)據(jù)文件侨舆，未提交的使用undo回滾掉。模擬了CSR的過程
[root@db01 ~]# innobackupex --apply-log /backup/full/
恢復(fù)備份
前提：
1绢陌、被恢復(fù)的目錄是空
2挨下、被恢復(fù)的數(shù)據(jù)庫的實(shí)例是關(guān)閉
systemctl stop mysqld
創(chuàng)建新目錄
[root@db01 backup]# mkdir /data/mysql1
數(shù)據(jù)授權(quán)
chown -R mysql.mysql /data/mysql1
恢復(fù)備份
[root@db01 full]# cp -a /backup/full/* /data/mysql1/
啟動數(shù)據(jù)庫
vim /etc/my.cnf
datadir=/data/mysql1
[root@db01 mysql1]# chown -R mysql.mysql /data/mysql1
systemctl start mysqld
-----------------------------------------------------------------------------------------
安裝并實(shí)施演練：
1、安裝依賴包
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev
2下面、下載xtrabackup
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
yum install -y percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
查看 innobackupex --version
3复颈、備份路徑
innobackupex --defaults-file=/etc/my.cnf --user=root --password=1 /data/bak
4、關(guān)閉進(jìn)程
pkill mysqld
5沥割、刪除
rm -rf /data/mysql/data/ * #----由于在簡書這里*有其他意義耗啦，所有加了一個空格，其實(shí)是沒有空格的
6机杜、準(zhǔn)備備份
innobackupex --apply-log /data/bak/2019-06-26_12-13-07/
7帜讲、恢復(fù)
cd /data/bak/2019-06-26_12-13-07/
cp -a * /data/mysql/data/
chown -R mysql. /data/
systemctl start mysqld
8、自主定制備份路徑名
innobackupex --user=root --password=1 --no-timestamp /data/bak/full_$(date +%F)
3椒拗、XBK增量備份演示：
備份方式：基于上次的備份的增量
增量備份不能單獨(dú)恢復(fù)似将，必須合并到全備中，一起恢復(fù)
1蚀苛、全備
innobackupex --user=root --password=1 --no-timestamp /data/bak/full_$(date +%F)
2在验、模擬周一數(shù)據(jù)變化
mysql> create database xbk charset utf8mb4;
mysql> use xbk
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
3、模擬周一晚上增量備份
innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/data/bak/full_2019-06-26 /data/bak/inc_$(date +%F)
4堵未、模擬周二白天的數(shù)據(jù)變化
mysql> use xbk
mysql> create table t2(id int);
mysql> insert into t2 values(1),(2),(3);
mysql> commit;
5腋舌、周二晚上的增量備份
innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/data/bak/inc_2019-06-26 /data/bak/inc2_$(date +%F)
6、xbk增量恢復(fù)演示：
思路：合并所有增量到全備渗蟹，每個xbk備份都需要恢復(fù)準(zhǔn)備(prepare)
--apply-log --redo-only
1)块饺、整理全備
innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/
2)、合并周一到全備并整理雌芽。
innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc_2019-06-26 /data/bak/full_2019-06-26/
3)授艰、合并周二到全備并整理
innobackupex --apply-log --incremental-dir=/data/bak/inc2_2019-06-26 /data/bak/full_2019-06-26/
4)、再次整理全備
innobackupex --apply-log /data/bak/full_2019-06-26/
5)世落、破壞數(shù)據(jù)庫淮腾，恢復(fù)數(shù)據(jù)
pkill mysqld
rm -rf /data/mysql/data/*
innobackupex --copy-back /data/bak/full_2019-06-26
chown -R mysql.mysql /data/*
/etc/init.d/mysqld start
cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoints
4、企業(yè)備份恢復(fù)案例（XBK full_inc_binlog）
案例背景： 某中型互聯(lián)網(wǎng)公司。MySQL 5.7.26 谷朝，Centos 7.6 篮灼，數(shù)據(jù)量級600G，每日數(shù)據(jù)增量15-50M
備份策略： 周日XBK全備+周一到周六inc增量+binlog備份徘禁，每天23:00進(jìn)行。
故障描述： 周三下午2點(diǎn)髓堪，數(shù)據(jù)由于某原因數(shù)據(jù)損壞送朱。
處理思路：
1. 掛出維護(hù)頁
2. 評估一下數(shù)據(jù)損壞狀態(tài)
2.1 全部丟失-->推薦直接生產(chǎn)恢復(fù)
2.2 部分丟失
3. 整理合并所有備份：full+inc1+inc2
4. 截取 周二晚上到周三下午午故障點(diǎn)的binlog日志
5. 恢復(fù)全備，恢復(fù)binlog
6. 檢查數(shù)據(jù)完整性
7. 恢復(fù)業(yè)務(wù)
處理結(jié)果：
1. 經(jīng)過70-80分鐘處理干旁，業(yè)務(wù)恢復(fù)
2. 評估此次故障的處理的合理性和實(shí)用性
案例模擬：
1驶沼、模擬周日的全備
innobackupex --user=root --password=1 --no-timestamp /data/bak/full
2、模擬周一的數(shù)據(jù)變化
mysql> create database hisoss charset utf8mb4;
mysql> use hisoss;
mysql> create table his_order(id int);
mysql> insert into his_order values(1),(2),(3);
mysql> commit;
3争群、模擬周一增量備份
innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/data/bak/full /data/bak/inc1
4. 模擬周二的數(shù)據(jù)變化
mysql> use hisoss;
mysql> insert into his_order values(11),(22),(33);
mysql> commit;
5回怜、模擬周二的增量備份
innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/data/bak/inc1 /data/bak/inc2
6、模擬周三的數(shù)據(jù)變化
use hisoss;
insert into his_order values(111),(222),(333);
commit;
7换薄、把數(shù)據(jù)庫data目錄rm掉
pkill mysqld
rm -rf /data/mysql/data/ * #----由于在簡書這里*有其他意義玉雾，所有加了一個空格，其實(shí)是沒有空格的
8轻要、整理并合并備份
1）复旬、整理全備
innobackupex --apply-log --redo-only /data/bak/full
2）、inc1 合并并整理到full中
innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc1 /data/bak/full
3）冲泥、inc2 合并并整理到full中
innobackupex --apply-log --incremental-dir=/data/bak/inc2 /data/bak/full
4）驹碍、整理的整理
innobackupex --apply-log /data/bak/full
9、恢復(fù)備份數(shù)據(jù)凡恍、加權(quán)限志秃、重啟mysql
cp -a /data/bak/full/ * /data/mysql/data #------這里是拷貝bak目錄下的所有到data下，*在簡書里有特殊意義嚼酝，加了一個空格浮还，其實(shí)是沒有的
chown -R mysql.mysql /data/
systemctl start mysqld
10、截取二進(jìn)制日志
mysqlbinlog --skip-gtids --include-gtids='24047f06-97ed-11e9-9198-000c299be7b1:5' /data/binlog/mysql-bin.000014 >/data/bak/bin.sql
11革半、恢復(fù)
mysql> set sql_log_bin=0;
mysql> source /data/bak/bin.sql;
5碑定、MySQL數(shù)據(jù)遷移
遷移前要考慮的問題
0、技術(shù)方面
選擇什么工具：MDP又官、XBK延刘。
非技術(shù)方面
停機(jī)時間
回退方案
1、換主機(jī)
1六敬、數(shù)據(jù)量小碘赖。
思路：
1、在線MDP，XBK備份出來普泡，scp到目標(biāo)主機(jī)
2播掷、追加所有備份后的日志
3、申請停機(jī)時間5分鐘
4撼班、剩余部分的binlog繼續(xù)恢復(fù)（搭建主從的方式來替代）
5歧匈、校驗數(shù)據(jù)
6、進(jìn)行業(yè)務(wù)割接
2砰嘁、數(shù)據(jù)量大件炉。
XBK備份出來，scp到目標(biāo)主機(jī)
搭建主從的方式
申請停機(jī)15分鐘
校驗數(shù)據(jù)
進(jìn)行業(yè)務(wù)割接
3矮湘、換版本升級
例如：
5.6 -> 5.7
1）方法一
建議使用mysqldump邏輯備份方式斟冕，按業(yè)務(wù)庫進(jìn)行分別備份，排除掉information_schema,performance_schema,sys缅阳，恢復(fù)完成后磕蛇，升級數(shù)據(jù)字典
2）方法二
進(jìn)行過濾復(fù)制，排除掉information_schema,performance_schema,sys
4十办、異構(gòu)遷移-系統(tǒng)不一樣
只能用邏輯備份
5秀撇、異構(gòu)遷移-數(shù)據(jù)庫不一樣
oracle --ogg--> mysql
mysql --csv--> mongodb
mysql --json--> mongodb
