分庫(kù)分表擴(kuò)容遇到瓶頸,還能做些什么

當(dāng)工作幾年后撞秋,對(duì)服務(wù)的可用性长捧,可擴(kuò)展性也有了新的疑問,什么疑問呢吻贿?其實(shí)是老生常談的話題:服務(wù)的擴(kuò)容問題串结。

正常情況下的服務(wù)演化之路

讓我們從最初開始。

單體應(yīng)用

每個(gè)創(chuàng)業(yè)公司基本都是從類似 SSM 和 SSH 這種架構(gòu)起來的,沒什么好講的肌割,基本每個(gè)程序員都經(jīng)歷過卧蜓。

RPC 應(yīng)用

當(dāng)業(yè)務(wù)越來越大,我們需要對(duì)服務(wù)進(jìn)行水平擴(kuò)容把敞,擴(kuò)容很簡(jiǎn)單弥奸,只要保證服務(wù)是無狀態(tài)的就可以了,如下圖:
image

當(dāng)業(yè)務(wù)又越來越大奋早,我們的服務(wù)關(guān)系錯(cuò)綜復(fù)雜盛霎,同時(shí),有很多服務(wù)訪問都是不需要連接 DB 的耽装,只需要連接緩存即可愤炸,那么就可以做成分離的,減少 DB 寶貴的連接掉奄。

如下圖:
image

我相信大部分公司都是在這個(gè)階段规个。Dubbo 就是為了解決這個(gè)問題而生的。

分庫(kù)分表

如果你的公司產(chǎn)品很受歡迎姓建,業(yè)務(wù)繼續(xù)高速發(fā)展诞仓,數(shù)據(jù)越來越多,SQL 操作越來越慢引瀑,那么數(shù)據(jù)庫(kù)就會(huì)成為瓶頸狂芋。

那么你肯定會(huì)想到分庫(kù)分表,不論通過 ID Hash 或者 Range 的方式都可以憨栽,如下圖:

image

這下應(yīng)該沒問題了吧帜矾。任憑你用戶再多,并發(fā)再高屑柔,我只要無限擴(kuò)容數(shù)據(jù)庫(kù)屡萤,無限擴(kuò)容應(yīng)用,就可以了掸宛。

這也是本文的標(biāo)題死陆,分庫(kù)分表就能解決無限擴(kuò)容嗎?實(shí)際上唧瘾,像上面的架構(gòu)措译,并不能解決。

其實(shí)饰序,這個(gè)問題和 RPC 的問題有點(diǎn)類似:數(shù)據(jù)庫(kù)連接過多领虹!

通常,我們的 RPC 應(yīng)用由于是使用中間件進(jìn)行數(shù)據(jù)庫(kù)訪問求豫,應(yīng)用實(shí)際上是不知道到底要訪問哪個(gè)數(shù)據(jù)庫(kù)的塌衰,訪問數(shù)據(jù)庫(kù)的規(guī)則由中間件決定诉稍,例如 Sharding JDBC。

這就導(dǎo)致最疆,這個(gè)應(yīng)用必須和所有的數(shù)據(jù)庫(kù)連接杯巨,就像我們上面的架構(gòu)圖一樣,一個(gè) RPC 應(yīng)用需要和 3 個(gè) MySQL 連接努酸。

如果是 30 個(gè) RPC 應(yīng)用服爷,每個(gè) RPC 的數(shù)據(jù)庫(kù)連接池大小是 8,每個(gè) MySQL 需要維護(hù) 240 個(gè)連接蚊逢。

我們知道层扶,MySQL 默認(rèn)連接數(shù)是 100,最大連接數(shù)是 16384烙荷,也就是說镜会,假設(shè)每個(gè)應(yīng)用的連接池大小是 8 ,超過 2048 個(gè)應(yīng)用就無法再繼續(xù)連接了终抽,也就無法繼續(xù)擴(kuò)容了戳表。

注意,由于每個(gè)物理庫(kù)有很多邏輯庫(kù)昼伴,再加上微服務(wù)運(yùn)動(dòng)如火如荼匾旭,2048 并沒有看起來那么大。

也許你說圃郊,我可以通過前面加一個(gè) Proxy 來解決連接數(shù)的問題价涝,實(shí)際上,代理的性能也會(huì)成為問題持舆,為什么色瘩?

代理的連接數(shù)也是不能超過 16384 的,如果并發(fā)超過 16384逸寓,變成 163840居兆,那么 Proxy 也解決不了問題。

怎么辦竹伸?讓我們?cè)倏纯瓷厦娴募軜?gòu)圖:

image

我們發(fā)現(xiàn)泥栖,問題是出在“每個(gè) RPC 應(yīng)用都要連所有的庫(kù)”,導(dǎo)致擴(kuò)容應(yīng)用的同時(shí)勋篓,每個(gè)數(shù)據(jù)庫(kù)連接數(shù)就要增加吧享。

就算增加數(shù)據(jù)庫(kù),也不能解決連接數(shù)的問題譬嚣。那怎么辦呢耙蔑?

單元化

單元化,聽起來高大上孤荣,通常在一些 XXX 大會(huì)上甸陌,分享“關(guān)于兩地三中心”,“三地五中心”盐股,“異地多活”等等牛逼的名詞的時(shí)候钱豁,單元化也會(huì)一起出現(xiàn)。

這里我們不討論那么牛逼的疯汁,就只說“數(shù)據(jù)庫(kù)連接數(shù)過多” 的問題牲尺。實(shí)際上,思路很簡(jiǎn)單:我們不讓應(yīng)用連接所有的數(shù)據(jù)庫(kù)就可以了幌蚊。

假設(shè)我們根據(jù) Range 分成了 10 個(gè)庫(kù)谤碳,現(xiàn)在有 10 個(gè)應(yīng)用,我們讓每個(gè)應(yīng)用只連一個(gè)庫(kù)溢豆,當(dāng)應(yīng)用增多變成 20 個(gè)蜒简,數(shù)據(jù)庫(kù)的連接不夠用了,我們就將 10 個(gè)庫(kù)分成 20 個(gè)庫(kù)漩仙。

這樣搓茬,無論你應(yīng)用擴(kuò)容到多少個(gè),都可以解決數(shù)據(jù)庫(kù)連接數(shù)過多的問題队他。

注意:做這件事的前提是卷仑,你必須保證,訪問你這個(gè)應(yīng)用的 Request 請(qǐng)求的數(shù)據(jù)庫(kù)一定是在這個(gè)應(yīng)用的麸折。

換個(gè)說法锡凝,當(dāng)用戶從 DNS 那里進(jìn)來的時(shí)候,就知道自己要去那個(gè)應(yīng)用了垢啼,所以窜锯,規(guī)則在 DNS 之前就定好了,雖然這有點(diǎn)夸張膊夹,但肯定在進(jìn)應(yīng)用之前就知道要去哪個(gè)庫(kù)了衬浑。

所以,這通常需要一個(gè)規(guī)則放刨,例如通過用戶 ID Hash工秩,由配置中心廣播 Hash 規(guī)則。

這樣进统,所有的組件都能保持一致的規(guī)則助币,從而正確的訪問到數(shù)據(jù)庫(kù),如下圖:
image

到這里螟碎,我們終于解決了無限擴(kuò)容的問題眉菱。

最后

本文從單體應(yīng)用開始,逐步講述了一個(gè)正常后臺(tái)的演進(jìn)歷程掉分,知道了分庫(kù)分表并不能解決“無限擴(kuò)容”的問題俭缓。

只有單元化才能解決這問題克伊,而單元化則帶來更多的復(fù)雜性。但是好處不言而喻华坦,單元化帶來了更多的思路愿吹。

有了單元化,解決了無限擴(kuò)容的問題惜姐,但是我們還沒有考慮單點(diǎn)的問題犁跪,即服務(wù)的可用性。要知道歹袁,我們這里的數(shù)據(jù)庫(kù)都是單點(diǎn)的坷衍。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市条舔,隨后出現(xiàn)的幾起案子枫耳,更是在濱河造成了極大的恐慌,老刑警劉巖逞刷,帶你破解...
    沈念sama閱讀 216,402評(píng)論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件嘉涌,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡夸浅,警方通過查閱死者的電腦和手機(jī)仑最,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來帆喇,“玉大人警医,你說我怎么就攤上這事∨髑眨” “怎么了预皇?”我有些...
    開封第一講書人閱讀 162,483評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)婉刀。 經(jīng)常有香客問我吟温,道長(zhǎng),這世上最難降的妖魔是什么突颊? 我笑而不...
    開封第一講書人閱讀 58,165評(píng)論 1 292
  • 正文 為了忘掉前任鲁豪,我火速辦了婚禮,結(jié)果婚禮上律秃,老公的妹妹穿的比我還像新娘爬橡。我一直安慰自己,他們只是感情好棒动,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,176評(píng)論 6 388
  • 文/花漫 我一把揭開白布糙申。 她就那樣靜靜地躺著,像睡著了一般船惨。 火紅的嫁衣襯著肌膚如雪柜裸。 梳的紋絲不亂的頭發(fā)上缕陕,一...
    開封第一講書人閱讀 51,146評(píng)論 1 297
  • 那天,我揣著相機(jī)與錄音疙挺,去河邊找鬼榄檬。 笑死,一個(gè)胖子當(dāng)著我的面吹牛衔统,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播海雪,決...
    沈念sama閱讀 40,032評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼锦爵,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了奥裸?” 一聲冷哼從身側(cè)響起险掀,我...
    開封第一講書人閱讀 38,896評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎湾宙,沒想到半個(gè)月后樟氢,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,311評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡侠鳄,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,536評(píng)論 2 332
  • 正文 我和宋清朗相戀三年埠啃,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片伟恶。...
    茶點(diǎn)故事閱讀 39,696評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖博秫,靈堂內(nèi)的尸體忽然破棺而出潦牛,到底是詐尸還是另有隱情,我是刑警寧澤巴碗,帶...
    沈念sama閱讀 35,413評(píng)論 5 343
  • 正文 年R本政府宣布,位于F島的核電站即寒,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏蒿叠。R本人自食惡果不足惜明垢,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,008評(píng)論 3 325
  • 文/蒙蒙 一市咽、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧施绎,春花似錦溯革、人聲如沸贞绳。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽抖单。三九已至萎攒,卻和暖如春矛绘,著一層夾襖步出監(jiān)牢的瞬間耍休,已是汗流浹背货矮。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留囚玫,地道東北人喧锦。 一個(gè)月前我還...
    沈念sama閱讀 47,698評(píng)論 2 368
  • 正文 我出身青樓抓督,卻偏偏與公主長(zhǎng)得像燃少,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子本昏,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,592評(píng)論 2 353