數(shù)據(jù)庫遷移

概述

為了保證系統(tǒng)的穩(wěn)定性含长，最近在核心庫與非核心庫的隔離，在做的過程需要調(diào)整數(shù)據(jù)庫的部署伏穆，涉及到數(shù)據(jù)庫的遷移拘泞，本文是來自在內(nèi)部分享截取。

數(shù)據(jù)庫遷移

base1.jpg

總體來說遷移數(shù)據(jù)庫步驟如下：

1. 修改應(yīng)用的數(shù)據(jù)庫鏈接字符串
2. 將原來的數(shù)據(jù)庫中數(shù)據(jù)遷移至新的數(shù)據(jù)庫
3. 發(fā)布應(yīng)用啟用鏈接新的數(shù)據(jù)庫
4. 通知下游系統(tǒng)陪腌，使用新的鏈接

理論遷移步驟.jpg

總來來說遷移數(shù)據(jù)庫遷移步驟還算明確的，但是這4步中有個(gè)關(guān)鍵的一步烟瞧，就是第3步诗鸭，何時(shí)啟用新的數(shù)據(jù)庫鏈接直接關(guān)系到數(shù)據(jù)一致性。
按照上面的步驟遷移参滴，要思考的一個(gè)問題就是如何判斷數(shù)據(jù)是否遷移完成强岸。假設(shè)service時(shí)時(shí)刻刻在調(diào)用db1進(jìn)行寫操作，那么就是說數(shù)據(jù)同步一直在進(jìn)行永遠(yuǎn)不會(huì)完成砾赔。如何解決呢蝌箍？

1. 如果不等數(shù)據(jù)遷移同步完，遷移到接近完成就開始將service和db1的鏈接斷掉过蹂，將請求打到db2,這樣沒有數(shù)據(jù)進(jìn)到db1,db1數(shù)據(jù)總會(huì)全部同步到db2的十绑。這樣不就行了嗎？這樣的問題是啥呢酷勺？這樣的會(huì)造成數(shù)據(jù)不一致本橙，舉個(gè)例子，比如有條記錄insert操作在斷掉鏈接1之前脆诉，insert完成之后甚亭，馬上斷掉了鏈接1啟用了鏈接2，此時(shí)對這條記錄有update操作击胜，如果同步任務(wù)還沒有將這條記錄同步到db2,那么update是失敗的亏狰，造成數(shù)據(jù)不一致。

理論數(shù)據(jù)遷移方案1-2.jpg

2. 鑒于上面會(huì)造成數(shù)據(jù)不一致偶摔，那么如果采用雙寫模式模式呢暇唾，即不斷開鏈接1，啟用鏈接2，往兩個(gè)數(shù)據(jù)庫寫策州，db1一定是完成的數(shù)據(jù)瘸味，跑上一段時(shí)間如果db2有數(shù)據(jù)不一致記錄，那么用db1的記錄去覆蓋db2的記錄够挂，看起來似乎是可行旁仿，但是如何判斷db2的數(shù)據(jù)不一致呢？這樣理論上是可行孽糖，但是操作上難度系數(shù)太高枯冈。那么有沒有更簡單的方式呢。

理論遷移方案2.jpg

3. 既然要數(shù)據(jù)一致办悟，為何不在遷移之前就保證數(shù)據(jù)是一致的呢尘奏，但是前面又說了數(shù)據(jù)是源源不斷寫到db1,無法確定哪一刻db1和db2的數(shù)據(jù)是一致的。這樣可以把service寫db1的鏈接斷掉誉尖，等待db1和db2數(shù)據(jù)完成之后在啟用db2.這樣數(shù)據(jù)就是一致的了罪既≈猓縮短db1斷開到db2啟用的時(shí)間段铡恕，在流量低峰操作，在c端透出友好提示丢间，這樣最少限度的影響客戶的使用又能做到簡單的數(shù)據(jù)庫遷移替換探熔。

遷移步驟.jpg

基于3的思路，如何縮短db1斷開到db2啟用的時(shí)間段呢烘挫？可以從如下角度考慮诀艰。

1. ，提前全量同步db1的數(shù)據(jù)到db2.全量同步完成之后饮六，開啟增量同步其垄， 在流量低峰，db1寫入的數(shù)據(jù)不多卤橄。那么db2與db1的偏移量很低绿满，如果停掉db1寫操作，那么db1和db2的數(shù)據(jù)很快能保持一致窟扑。
2. 快速切換喇颁。快速斷開db1嚎货，同時(shí)也能快速啟用db2,那么發(fā)應(yīng)用顯得慢橘霎，要做動(dòng)態(tài)開關(guān)。

做到上面兩點(diǎn)基本上就能將db1斷開到db2啟用的時(shí)間段縮的很短可以做到分鐘級別殖属，甚至秒級別的姐叁。

如何切斷原數(shù)據(jù)源

這個(gè)問題要具體業(yè)務(wù)具體分析，C端用戶訪問功能，就要從接口層面先臨時(shí)短暫做降級通過sentinel配置接口訪問0外潜，給用戶友好的提示谭溉，等數(shù)據(jù)遷移完成快速切換數(shù)據(jù)源并放開并放開接口層面的限制，由此用戶端短暫不可用橡卤，所以此類數(shù)據(jù)庫一定要挑選深夜用戶訪問量少的情況發(fā)布扮念，減少對業(yè)務(wù)的影響。

如何動(dòng)態(tài)切換數(shù)據(jù)源

目前我們的項(xiàng)目都是通過mybatis框架來訪問和操作數(shù)據(jù)庫碧库，我們知道程序通過配置 SqlSessionTemplate 使用SqlSessionTemplate來訪問底層的datasource來訪問和操作數(shù)據(jù)庫的柜与，那么可以采用如下思路：

1. 繼承SqlSessionTemplate 并重寫 這里記DynamicSqlSessionTemplate
2. 往DynamicSqlSessionTemplate注入多個(gè)數(shù)據(jù)源，通過apollo配置可以動(dòng)態(tài)選擇使用哪個(gè)datasource來操作數(shù)據(jù)庫嵌灰。
3. 原來是配置的SqlSessionTemplate現(xiàn)在改成配置DynamicSqlSessionTemplate弄匕，程序最后使用的DynamicSqlSessionTemplate重寫的方法，可以動(dòng)態(tài)調(diào)整數(shù)據(jù)源沽瞭。

具體的可以參考： https://www.cnblogs.com/xifengxiaoma/p/9888240.html

數(shù)據(jù)同步-阿里云DTS

阿里云數(shù)據(jù)同步和數(shù)據(jù)遷移的一個(gè)工具迁匠，可以做數(shù)據(jù)的全量與增量同步
數(shù)據(jù)庫遷移

image.png