[103]技術(shù)-關(guān)于數(shù)據(jù)遷移的思考

背景

模塊A需要改造由原有的表TA1換成TA2,在這種情況下模塊B的表TB1中TBColumn1中數(shù)據(jù)要變更拭抬。

數(shù)據(jù)遷移要考慮的點

1.盡量線下遷移(減少發(fā)布新版本代碼后 舊數(shù)據(jù)不可用的范圍)
2.盡量不動原有的數(shù)據(jù),在保留原有數(shù)據(jù)的基礎(chǔ)上耻涛,任何時候都可以回滾代碼(數(shù)據(jù)非常重要)醇王。
3.盡量少的人工操作。

由于盡量線下刷庫的原則班缎,所以我們在B模塊表TB1中增加TBColumn2列存儲遷移后的數(shù)據(jù),此時B模塊老代碼引用TBcolumn1新代碼引用TBColumn2她渴,所以可以隨時切換达址。(又是一個空間換時間的方法)
根據(jù)上面幾點的考慮,我們采用線下全量刷庫 + 線上自動增量同步(定時任務(wù))趁耗。
具體邏輯是:

    1. A 模塊線下刷庫(更新數(shù)據(jù)庫DDL腳本同時遷移數(shù)據(jù))沉唠,同時提供映射表給B。
    2. B 模塊線下刷庫(更新數(shù)據(jù)庫DDL腳本同時遷移數(shù)據(jù))苛败。
    3. A 满葛,B模塊同時發(fā)布代碼。
    4. A模塊中定時任務(wù)掃描 就代碼產(chǎn)生的增量數(shù)據(jù)同步刷新著拭,同時同步通知B模塊更新纱扭。 
       //當(dāng)然也可以B模塊主動去A模塊查詢增量就數(shù)據(jù)。
    5. 遷移完成后刪除 A,B 模塊中冗余(無用)的列儡遮,比如B模塊中刪除原有的TBColumn1列。

工作中具體實現(xiàn)示意圖

image.png

遷移工作共涉及到的細節(jié)

1.以企業(yè)為維度進行遷移暗赶,灰度一家企業(yè)遷移一家鄙币。
2.遷移具體時序:刷描述、刷數(shù)據(jù)蹂随、刪除舊數(shù)據(jù)十嘿。
3.支持冪:即我要多次刷程序也可以保證使用。
4.邊界條件: 如果沒有開通客戶賬戶的企業(yè)過來怎么辦岳锁,所以需要判斷客戶賬戶是否開啟绩衷。

由于需要支持冪等且程序中任何一部都可能導(dǎo)致失敗(有可能是網(wǎng)絡(luò)等外部原因激率、也有可能是程序代碼)咳燕,比如刷描述(成功)-> 刷數(shù)據(jù)(失敗)乒躺。那我要下次接著刷招盲,此時刷描述就需要可以多次刷。

那么進入細節(jié)分析其應(yīng)有的場景如下:

場景1:刷描述 嘉冒、刷數(shù)據(jù)曹货、成功->刪除回款描述咆繁。
場景2:
1).刷描述、刷數(shù)據(jù)顶籽、失敗->回款描述不用刷玩般。
2).刷描述、刷數(shù)據(jù)(回款field的描述沒有刪除可以繼續(xù)刷)礼饱、成功->刪除回款描述坏为。

感想

1).任何東西你要認真想一下才能帶入,把細節(jié)考慮好慨仿。
2).怎么帶入細節(jié)久脯,先描述最簡單的場景再逐步深入。比如(幾千萬個app往服務(wù)器定時上報內(nèi)容)app-> server镰吆,你先考慮怎么發(fā) -> 考慮數(shù)據(jù)量大了怎么處理 (a).如果消息不需要立馬再現(xiàn)帘撰,可以采用隊列緩沖。 b).如果立馬在數(shù)據(jù)庫再現(xiàn)可以采用熱點賬戶万皿,把update變成insert操作)摧找。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市牢硅,隨后出現(xiàn)的幾起案子蹬耘,更是在濱河造成了極大的恐慌,老刑警劉巖减余,帶你破解...
    沈念sama閱讀 216,651評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件综苔,死亡現(xiàn)場離奇詭異,居然都是意外死亡位岔,警方通過查閱死者的電腦和手機如筛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來抒抬,“玉大人杨刨,你說我怎么就攤上這事〔两#” “怎么了妖胀?”我有些...
    開封第一講書人閱讀 162,931評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長惠勒。 經(jīng)常有香客問我赚抡,道長,這世上最難降的妖魔是什么捉撮? 我笑而不...
    開封第一講書人閱讀 58,218評論 1 292
  • 正文 為了忘掉前任怕品,我火速辦了婚禮,結(jié)果婚禮上巾遭,老公的妹妹穿的比我還像新娘肉康。我一直安慰自己闯估,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,234評論 6 388
  • 文/花漫 我一把揭開白布吼和。 她就那樣靜靜地躺著涨薪,像睡著了一般。 火紅的嫁衣襯著肌膚如雪炫乓。 梳的紋絲不亂的頭發(fā)上刚夺,一...
    開封第一講書人閱讀 51,198評論 1 299
  • 那天,我揣著相機與錄音末捣,去河邊找鬼侠姑。 笑死,一個胖子當(dāng)著我的面吹牛箩做,可吹牛的內(nèi)容都是我干的莽红。 我是一名探鬼主播,決...
    沈念sama閱讀 40,084評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼邦邦,長吁一口氣:“原來是場噩夢啊……” “哼安吁!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起燃辖,我...
    開封第一講書人閱讀 38,926評論 0 274
  • 序言:老撾萬榮一對情侶失蹤鬼店,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后黔龟,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體妇智,經(jīng)...
    沈念sama閱讀 45,341評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,563評論 2 333
  • 正文 我和宋清朗相戀三年氏身,在試婚紗的時候發(fā)現(xiàn)自己被綠了俘陷。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,731評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡观谦,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出桨菜,到底是詐尸還是另有隱情豁状,我是刑警寧澤,帶...
    沈念sama閱讀 35,430評論 5 343
  • 正文 年R本政府宣布倒得,位于F島的核電站泻红,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏霞掺。R本人自食惡果不足惜谊路,卻給世界環(huán)境...
    茶點故事閱讀 41,036評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望菩彬。 院中可真熱鬧缠劝,春花似錦潮梯、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,676評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至脱羡,卻和暖如春萝究,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背锉罐。 一陣腳步聲響...
    開封第一講書人閱讀 32,829評論 1 269
  • 我被黑心中介騙來泰國打工帆竹, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人脓规。 一個月前我還...
    沈念sama閱讀 47,743評論 2 368
  • 正文 我出身青樓栽连,卻偏偏與公主長得像,于是被迫代替她去往敵國和親抖拦。 傳聞我的和親對象是個殘疾皇子升酣,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,629評論 2 354

推薦閱讀更多精彩內(nèi)容