一、遷移過(guò)程需要滿(mǎn)足的目標(biāo)
- 遷移應(yīng)該是在線的遷移策严，也就是在遷移的同時(shí)還會(huì)有數(shù)據(jù)的寫(xiě)入；
- 數(shù)據(jù)應(yīng)該保證完整性饿敲，也就是說(shuō)在遷移之后需要保證新的庫(kù)和舊的庫(kù)的數(shù)據(jù)是一致的妻导；
- 遷移的過(guò)程需要做到可以回滾，這樣一旦遷移的過(guò)程中出現(xiàn)問(wèn)題怀各，可以立刻回滾到源庫(kù)不會(huì)對(duì)系統(tǒng)的可用性造成影響倔韭。
如果你使用 Binlog 同步的方式，在同步完成后再修改代碼瓢对，將主庫(kù)修改為新的數(shù)據(jù)庫(kù)寿酌，這樣就不滿(mǎn)足可回滾的要求，一旦遷移后發(fā)現(xiàn)問(wèn)題硕蛹，由于已經(jīng)有增量的數(shù)據(jù)寫(xiě)入了新庫(kù)而沒(méi)有寫(xiě)入舊庫(kù)醇疼，不可能再將數(shù)據(jù)庫(kù)改成舊庫(kù)硕并。
二、同步雙寫(xiě)
2.1 步驟
1.將新的庫(kù)配置為源庫(kù)的從庫(kù)用來(lái)同步數(shù)據(jù)秧荆；如果需要將數(shù)據(jù)同步到多庫(kù)多表鲤孵，那么可以使用一些第三方工具獲取 Binlog 的增量日志（比如開(kāi)源工具 Canal），在獲取增量日志之后就可以按照分庫(kù)分表的邏輯寫(xiě)入到新的庫(kù)表中了辰如。
2.同時(shí)我們需要改造業(yè)務(wù)代碼普监，在數(shù)據(jù)寫(xiě)入的時(shí)候不僅要寫(xiě)入舊庫(kù)也要寫(xiě)入新庫(kù)。當(dāng)然琉兜，基于性能的考慮凯正，我們可以異步地寫(xiě)入新庫(kù)，只要保證舊庫(kù)寫(xiě)入成功即可豌蟋。但是我們需要注意的是廊散，需要將寫(xiě)入新庫(kù)失敗的數(shù)據(jù)記錄在單獨(dú)的日志中，這樣方便后續(xù)對(duì)這些數(shù)據(jù)補(bǔ)寫(xiě)梧疲，保證新庫(kù)和舊庫(kù)的數(shù)據(jù)一致性允睹。
3.然后我們就可以開(kāi)始校驗(yàn)數(shù)據(jù)了。由于數(shù)據(jù)庫(kù)中數(shù)據(jù)量很大幌氮，做全量的數(shù)據(jù)校驗(yàn)不太現(xiàn)實(shí)缭受。你可以抽取部分?jǐn)?shù)據(jù)，具體數(shù)據(jù)量依據(jù)總體數(shù)據(jù)量而定该互，只要保證這些數(shù)據(jù)是一致的就可以米者。
- 雙寫(xiě)時(shí)加開(kāi)關(guān)，默認(rèn)關(guān)閉雙寫(xiě)宇智，上線完成后關(guān)閉同步蔓搞，同時(shí)打開(kāi)開(kāi)關(guān)，在低峰期的話數(shù)據(jù)丟失的概率不高随橘。再配合數(shù)據(jù)校驗(yàn)的工作喂分，是可以保證一致性的
- 如果一切順利，我們就可以將讀流量切換到新庫(kù)了机蔗。由于擔(dān)心一次切換全量讀流量可能會(huì)對(duì)系統(tǒng)產(chǎn)生未知的影響蒲祈，所以這里最好采用灰度的方式來(lái)切換，比如開(kāi)始切換 10% 的流量蜒车，如果沒(méi)有問(wèn)題再切換到 50% 的流量讳嘱，最后再切換到 100%幔嗦。
- 由于有雙寫(xiě)的存在酿愧，所以在切換的過(guò)程中出現(xiàn)任何的問(wèn)題都可以將讀寫(xiě)流量隨時(shí)切換到舊庫(kù)去，保障系統(tǒng)的性能邀泉。
- 在觀察了幾天發(fā)現(xiàn)數(shù)據(jù)的遷移沒(méi)有問(wèn)題之后嬉挡，就可以將數(shù)據(jù)庫(kù)的雙寫(xiě)改造成只寫(xiě)新庫(kù)钝鸽，數(shù)據(jù)的遷移也就完成了。
最容易出現(xiàn)問(wèn)題
數(shù)據(jù)校驗(yàn)的工作
建議遷移前寫(xiě)好數(shù)據(jù)校驗(yàn)的工具或腳本庞钢，在測(cè)試環(huán)境上充分測(cè)試之后拔恰，在開(kāi)始正式的數(shù)據(jù)遷移
三、同步雙寫(xiě)升級(jí)版 ---- 本地庫(kù)上云
本地庫(kù)上云基括，另外考慮的重要因素 -- 帶寬和延遲
盡量減少跨專(zhuān)線的讀操作
切換讀流量的時(shí)候你需要保證自建機(jī)房的應(yīng)用服務(wù)器讀取本機(jī)房的數(shù)據(jù)庫(kù)颜懊，云上的應(yīng)用服務(wù)器讀取云上的數(shù)據(jù)庫(kù)。
這樣在完成遷移之前风皿，只要將自建機(jī)房的應(yīng)用服務(wù)器停掉并且將寫(xiě)入流量都切到新庫(kù)就可以了河爹。
四、應(yīng)用場(chǎng)景
無(wú)論是遷移 MySQL 中的數(shù)據(jù)還是遷移 Redis 中的數(shù)據(jù)桐款，甚至遷移消息隊(duì)列都可以使用這種方式咸这，你在實(shí)際的工作中可以直接拿來(lái)使用。
五魔眨、優(yōu)缺點(diǎn)
優(yōu)點(diǎn)是：遷移的過(guò)程可以隨時(shí)回滾媳维，將遷移的風(fēng)險(xiǎn)降到了最低。
缺點(diǎn)是：時(shí)間周期比較長(zhǎng)遏暴，應(yīng)用有改造的成本侄刽。
六、衍生兩種方案
1朋凉、基于同步寫(xiě)新庫(kù)和舊庫(kù)方案
在寫(xiě)入數(shù)據(jù)的時(shí)候唠梨，同步寫(xiě)入舊庫(kù)數(shù)據(jù)，異步寫(xiě)入新庫(kù)數(shù)據(jù)侥啤。
數(shù)據(jù)校驗(yàn)当叭，對(duì)部分?jǐn)?shù)據(jù)進(jìn)行校驗(yàn)（最容易出問(wèn)題的地方，需要提前準(zhǔn)備好腳本）盖灸。
使用灰度發(fā)布方式將讀流量切換到新庫(kù)蚁鳖。
觀察幾天沒(méi)問(wèn)題后，可以改成只寫(xiě)新庫(kù)赁炎。
2醉箕、基于Canal的遷移方案
將新庫(kù)配置為源庫(kù)的從庫(kù)，同步數(shù)據(jù)徙垫。比如使用Canal同步數(shù)據(jù)讥裤。
數(shù)據(jù)校驗(yàn)，對(duì)部分?jǐn)?shù)據(jù)進(jìn)行校驗(yàn)（最容易出問(wèn)題的地方姻报，需要提前準(zhǔn)備好腳本）己英。
使用灰度發(fā)布方式將讀流量切換到新庫(kù)。
暫停應(yīng)用吴旋，將新庫(kù)作為主庫(kù)寫(xiě)入损肛，使用Canal同步到舊庫(kù)厢破。
觀察幾天沒(méi)問(wèn)題后，撤銷(xiāo)Canal的同步治拿。
