如何設(shè)計可以動態(tài)擴容縮容的分庫分表方案?

面試官心理分析

對于分庫分表來說姆蘸,主要是面對以下問題:

1.選擇一個數(shù)據(jù)庫中間件墩莫,調(diào)研、學(xué)習(xí)逞敷、測試狂秦;

2.設(shè)計你的分庫分表的一個方案,你要分成多少個庫推捐,每個庫分成多少個表裂问,比如 3 個庫,每個庫 4 個表牛柒;

3.基于選擇好的數(shù)據(jù)庫中間件堪簿,以及在測試環(huán)境建立好的分庫分表的環(huán)境,然后測試一下能否正常進行分庫分表的讀寫皮壁;

4.完成單庫單表到分庫分表的遷移椭更,雙寫方案;

5.線上系統(tǒng)開始基于分庫分表對外提供服務(wù)闪彼;

6.擴容了甜孤,擴容成 6 個庫,每個庫需要 12 個表畏腕,你怎么來增加更多庫和表呢缴川?

這個是你必須面對的一個事兒,就是你已經(jīng)弄好分庫分表方案了描馅,然后一堆庫和表都建好了把夸,基于分庫分表中間件的代碼開發(fā)啥的都好了,測試都 ok 了铭污,數(shù)據(jù)能均勻分布到各個庫和各個表里去恋日,而且接著你還通過雙寫的方案咔嚓一下上了系統(tǒng),已經(jīng)直接基于分庫分表方案在搞了嘹狞。

那么現(xiàn)在問題來了岂膳,你現(xiàn)在這些庫和表又支撐不住了,要繼續(xù)擴容咋辦磅网?這個可能就是說你的每個庫的容量又快滿了谈截,或者是你的表數(shù)據(jù)量又太大了,也可能是你每個庫的寫并發(fā)太高了,你得繼續(xù)擴容簸喂。

這都是玩兒分庫分表線上必須經(jīng)歷的事兒毙死。


面試題剖析

停機擴容(不推薦)

這個方案就跟停機遷移一樣,步驟幾乎一致喻鳄,唯一的一點就是那個導(dǎo)數(shù)的工具扼倘,是把現(xiàn)有庫表的數(shù)據(jù)抽出來慢慢倒入到新的庫和表里去。但是最好別這么玩兒除呵,有點不太靠譜再菊,因為既然分庫分表就說明數(shù)據(jù)量實在是太大了,可能多達幾億條竿奏,甚至幾十億袄简,你這么玩兒,可能會出問題泛啸。從單庫單表遷移到分庫分表的時候绿语,數(shù)據(jù)量并不是很大,單表最大也就兩三千萬候址。那么你寫個工具吕粹,多弄幾臺機器并行跑,1 小時數(shù)據(jù)就導(dǎo)完了岗仑。這沒有問題匹耕。

如果 3 個庫 + 12 個表,跑了一段時間了荠雕,數(shù)據(jù)量都 1~2 億了稳其。光是導(dǎo) 2 億數(shù)據(jù),都要導(dǎo)個幾個小時炸卑,6 點既鞠,剛剛導(dǎo)完數(shù)據(jù),還要搞后續(xù)的修改配置盖文,重啟系統(tǒng)嘱蛋,測試驗證,10 點才可以搞完五续。所以不能這么搞洒敏。


優(yōu)化后的方案

一開始上來就是 32 個庫,每個庫 32 個表疙驾,那么總共是 1024 張表凶伙。

我可以告訴各位同學(xué),這個分法它碎,第一镊靴,基本上國內(nèi)的互聯(lián)網(wǎng)肯定都是夠用了铣卡,第二,無論是并發(fā)支撐還是數(shù)據(jù)量支撐都沒問題偏竟。

每個庫正常承載的寫入并發(fā)量是 1000,那么 32 個庫就可以承載 32 * 1000 = 32000 的寫并發(fā)敞峭,如果每個庫承載 1500 的寫并發(fā)踊谋,32 * 1500 = 48000 的寫并發(fā),接近 5 萬每秒的寫入并發(fā)旋讹,前面再加一個 MQ殖蚕,削峰,每秒寫入 MQ 8 萬條數(shù)據(jù)沉迹,每秒消費 5 萬條數(shù)據(jù)睦疫。

有些除非是國內(nèi)排名非常靠前的這些公司鞭呕,他們的最核心的系統(tǒng)的數(shù)據(jù)庫蛤育,可能會出現(xiàn)幾百臺數(shù)據(jù)庫的這么一個規(guī)模,128 個庫葫松,256 個庫瓦糕,512 個庫。

1024 張表腋么,假設(shè)每個表放 500 萬數(shù)據(jù)咕娄,在 MySQL 里可以放 50 億條數(shù)據(jù)。

每秒 5 萬的寫并發(fā)珊擂,總共 50 億條數(shù)據(jù)圣勒,對于國內(nèi)大部分的互聯(lián)網(wǎng)公司來說,其實一般來說都夠了摧扇。

談分庫分表的擴容圣贸,第一次分庫分表,就一次性給他分個夠扳剿,32 個庫旁趟,1024 張表,可能對大部分的中小型互聯(lián)網(wǎng)公司來說庇绽,已經(jīng)可以支撐好幾年了锡搜。

一個實踐是利用 32 * 32 來分庫分表,即分為 32 個庫瞧掺,每個庫里一個表分為 32 張表耕餐。一共就是 1024張表。根據(jù)某個 id 先根據(jù) 32 取模路由到庫辟狈,再根據(jù) 32 取模路由到庫里的表肠缔。


剛開始的時候夏跷,這個庫可能就是邏輯庫,建在一個數(shù)據(jù)庫上的明未,就是一個 mysql 服務(wù)器可能建了 n 個庫槽华,比如 32 個庫。后面如果要拆分趟妥,就是不斷在庫和 mysql 服務(wù)器之間做遷移就可以了猫态。然后系統(tǒng)配合改一下配置即可。

比如說最多可以擴展到 32 個數(shù)據(jù)庫服務(wù)器披摄,每個數(shù)據(jù)庫服務(wù)器是一個庫亲雪。如果還是不夠?最多可以擴展到1024 個數(shù)據(jù)庫服務(wù)器疚膊,每個數(shù)據(jù)庫服務(wù)器上面一個庫一個表义辕。因為最多是 1024 個表。

這么搞寓盗,是不用自己寫代碼做數(shù)據(jù)遷移的灌砖,都交給 dba 來搞好了,但是 dba 確實是需要做一些庫表遷移的工作贞让,但是總比你自己寫代碼周崭,然后抽數(shù)據(jù)導(dǎo)數(shù)據(jù)來的效率高得多吧。

哪怕是要減少庫的數(shù)量喳张,也很簡單续镇,其實說白了就是按倍數(shù)縮容就可以了,然后修改一下路由規(guī)則销部。

這里對步驟做一個總結(jié):

1. 設(shè)定好幾臺數(shù)據(jù)庫服務(wù)器摸航,每臺服務(wù)器上幾個庫,每個庫多少個表舅桩,推薦是 32 庫 * 32 表酱虎,對于大部分公司來說,可能幾年都夠了擂涛。

2. 路由的規(guī)則读串,orderId 模 32 = 庫,orderId / 32 模 32 = 表

3. 擴容的時候撒妈,申請增加更多的數(shù)據(jù)庫服務(wù)器恢暖,裝好 mysql,呈倍數(shù)擴容狰右,4 臺服務(wù)器杰捂,擴到 8 臺服務(wù)器,再到 16 臺服務(wù)器棋蚌。

4. 由 dba 負責將原先數(shù)據(jù)庫服務(wù)器的庫嫁佳,遷移到新的數(shù)據(jù)庫服務(wù)器上去挨队,庫遷移是有一些便捷的工具的。

5. 我們這邊就是修改一下配置蒿往,調(diào)整遷移的庫所在數(shù)據(jù)庫服務(wù)器的地址盛垦。

6. 重新發(fā)布系統(tǒng),上線熄浓,原先的路由規(guī)則變都不用變情臭,直接可以基于 n 倍的數(shù)據(jù)庫服務(wù)器的資源,繼續(xù)進行線上系統(tǒng)的提供服務(wù)赌蔑。


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市竟秫,隨后出現(xiàn)的幾起案子娃惯,更是在濱河造成了極大的恐慌,老刑警劉巖肥败,帶你破解...
    沈念sama閱讀 211,348評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件趾浅,死亡現(xiàn)場離奇詭異,居然都是意外死亡馒稍,警方通過查閱死者的電腦和手機皿哨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,122評論 2 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來纽谒,“玉大人证膨,你說我怎么就攤上這事」那” “怎么了央勒?”我有些...
    開封第一講書人閱讀 156,936評論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長澳化。 經(jīng)常有香客問我崔步,道長,這世上最難降的妖魔是什么缎谷? 我笑而不...
    開封第一講書人閱讀 56,427評論 1 283
  • 正文 為了忘掉前任井濒,我火速辦了婚禮,結(jié)果婚禮上列林,老公的妹妹穿的比我還像新娘瑞你。我一直安慰自己,他們只是感情好席纽,可當我...
    茶點故事閱讀 65,467評論 6 385
  • 文/花漫 我一把揭開白布捏悬。 她就那樣靜靜地躺著,像睡著了一般润梯。 火紅的嫁衣襯著肌膚如雪过牙。 梳的紋絲不亂的頭發(fā)上甥厦,一...
    開封第一講書人閱讀 49,785評論 1 290
  • 那天,我揣著相機與錄音寇钉,去河邊找鬼刀疙。 笑死,一個胖子當著我的面吹牛扫倡,可吹牛的內(nèi)容都是我干的谦秧。 我是一名探鬼主播,決...
    沈念sama閱讀 38,931評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼撵溃,長吁一口氣:“原來是場噩夢啊……” “哼疚鲤!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起缘挑,我...
    開封第一講書人閱讀 37,696評論 0 266
  • 序言:老撾萬榮一對情侶失蹤集歇,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后语淘,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體诲宇,經(jīng)...
    沈念sama閱讀 44,141評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,483評論 2 327
  • 正文 我和宋清朗相戀三年惶翻,在試婚紗的時候發(fā)現(xiàn)自己被綠了姑蓝。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,625評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡吕粗,死狀恐怖纺荧,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情溯泣,我是刑警寧澤虐秋,帶...
    沈念sama閱讀 34,291評論 4 329
  • 正文 年R本政府宣布,位于F島的核電站垃沦,受9級特大地震影響客给,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜肢簿,卻給世界環(huán)境...
    茶點故事閱讀 39,892評論 3 312
  • 文/蒙蒙 一靶剑、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧池充,春花似錦桩引、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至卧惜,卻和暖如春厘灼,著一層夾襖步出監(jiān)牢的瞬間夹纫,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工设凹, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留舰讹,地道東北人。 一個月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓闪朱,卻偏偏與公主長得像月匣,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子奋姿,可洞房花燭夜當晚...
    茶點故事閱讀 43,492評論 2 348