拜托,別再問(wèn)怎么深入學(xué)習(xí)分布式架構(gòu)了敢辩!

由于分布式系統(tǒng)所涉及到的領(lǐng)域眾多蔽莱,知識(shí)龐雜,很多新人在最初往往找不到頭緒戚长,不知道從何處下手來(lái)一步步學(xué)習(xí)分布式架構(gòu)盗冷。

本文試圖通過(guò)一個(gè)最簡(jiǎn)單的、常用的分布式系統(tǒng)同廉,來(lái)闡述分布式系統(tǒng)中的一些基本問(wèn)題仪糖。

  • 負(fù)載均衡
  • 分布式緩存
  • 分布式文件系統(tǒng)/CDN
  • 分布式RPC
  • 分布式數(shù)據(jù)庫(kù)/Nosql
  • 分布式消息中間件
  • 分布式session問(wèn)題
    -總結(jié)

下圖為一個(gè)中大型網(wǎng)站/App的基本架構(gòu):


1.jpg

在這個(gè)架構(gòu)中,涉及到以上所列的基本問(wèn)題:

負(fù)載均衡

負(fù)載均衡是分布式系統(tǒng)中的一個(gè)最最基本的問(wèn)題迫肖。在上圖中:

網(wǎng)關(guān)需要把請(qǐng)求分發(fā)給不同的Tomcat锅劝;
Tomcat需要把收到的請(qǐng)求,分發(fā)給不同的Service蟆湖;

這都需要負(fù)載均衡故爵。一句話:凡是請(qǐng)求從一個(gè)入口進(jìn)來(lái),需要分發(fā)給后端不同的機(jī)器時(shí)隅津,就需要負(fù)載均衡诬垂。

局域網(wǎng)負(fù)載均衡

在上圖中,負(fù)載均衡發(fā)生在局域網(wǎng)內(nèi)部伦仍。在這里结窘,常用的網(wǎng)關(guān)軟件有Nginx/HAProxy/F5/LVS/各種云上的SLB等。

廣域網(wǎng)負(fù)載均衡

在上圖之外充蓝,還有廣域網(wǎng)負(fù)載均衡晦鞋。這通常發(fā)生在域名服務(wù)器上,而不是局域網(wǎng)內(nèi)部。
同1個(gè)域名悠垛,映射到不同的局域網(wǎng)集群。

負(fù)載均衡算法

常用的負(fù)載均衡算法:隨機(jī)娜谊,輪詢(Round Robin)确买,最小資源數(shù),hash纱皆。

分布式緩存

在上圖中湾趾,當(dāng)DB負(fù)載過(guò)高,我需要為Service機(jī)器加緩存時(shí)派草,就遇到一個(gè)基本問(wèn)題:
如果使用local的內(nèi)存做緩存搀缠,則其他Service機(jī)器就沒(méi)辦法共用此緩存。
因次近迁,我需要一個(gè)可以讓所有Service機(jī)器共享的緩存艺普,這就是分布式緩存。

常用的分布式緩存組件:Memcached/Redis/Tair等

分布式文件系統(tǒng)

在上圖中鉴竭,當(dāng)我要存儲(chǔ)客戶端上傳的圖片文件時(shí)歧譬,就會(huì)遇到另一個(gè)基本問(wèn)題:我不能把圖片存在每個(gè)Tomcat的本地文件系統(tǒng)里面,這樣的話搏存,其他機(jī)器就沒(méi)辦法訪問(wèn)了瑰步。我需要一個(gè)讓所有機(jī)器可以共享的文件系統(tǒng),這就是分布式文件系統(tǒng)璧眠。

常用的分布式文件系統(tǒng):MogileFS/TFS/HDFS/Amazon S3/OpenStack Swift等

當(dāng)使用了分布式文件系統(tǒng)缩焦,對(duì)外提供圖片url訪問(wèn)服務(wù)時(shí),就會(huì)遇到另一個(gè)基本問(wèn)題:如果每次文件的訪問(wèn)责静,都要到分布式文件系統(tǒng)里面去取袁滥,效率和負(fù)載就可能成為問(wèn)題。
為此泰演,就需要引入CDN呻拌。

常用的CDN廠商,比如ChinCache睦焕。當(dāng)然藐握,現(xiàn)在的各種云存儲(chǔ),比如七牛云垃喊,阿里云猾普,騰訊云,已經(jīng)自帶了CDN本谜。

分布式RPC

分布式系統(tǒng)的一個(gè)基本問(wèn)題就是:機(jī)器與機(jī)器之間如何通信初家? 我們都知道底層原理是TCP/IP,Socket。

但一般很少有人會(huì)去裸寫(xiě)Socket溜在,實(shí)現(xiàn)機(jī)器之間的通信陌知。這里,最常用的組件就是RPC掖肋。

最簡(jiǎn)單的實(shí)現(xiàn)RPC的方式就是使用http仆葡。當(dāng)然,業(yè)界有很多成熟的開(kāi)源RPC框架志笼,如Facebook的Thrift, 阿里的Dubbo沿盅,點(diǎn)評(píng)的Pigeon。纫溃。

在RPC內(nèi)部腰涧,一般都自己實(shí)現(xiàn)了負(fù)載均衡。還有更復(fù)雜的紊浩,如多版本窖铡,服務(wù)降級(jí)等。

補(bǔ)充一句:雖然底層原理都是Socket郎楼,但使用不同框架/組件時(shí)万伤,通常都有其自己的跨機(jī)器通信方式,比如MySQL JDBC呜袁,RPC敌买, 消息中間件等。

分布式數(shù)據(jù)庫(kù)

在上圖中阶界,DB是單一節(jié)點(diǎn)虹钮。當(dāng)訪問(wèn)量達(dá)到一定程度,就會(huì)涉及到mysql的分庫(kù)分表問(wèn)題膘融。

分庫(kù)/分表之后芙粱,就會(huì)涉及到j(luò)oin的問(wèn)題,分布式事務(wù)的問(wèn)題氧映。

關(guān)于分庫(kù)分表春畔,業(yè)界也早有成熟方案。對(duì)上層屏蔽分庫(kù)分表岛都,sql的執(zhí)行律姨,像是在單庫(kù)一樣。

還有像MongoDB這種Nosql數(shù)據(jù)庫(kù)臼疫,天生是分布式的择份。但同樣會(huì)面對(duì)Mysql分庫(kù)分表所要面對(duì)的問(wèn)題。

還有像阿里的OceanBase烫堤,有Mysql的強(qiáng)一致性保證荣赶,又是分布式的凤价,還可以支持分布式事務(wù)。

分布式消息中間件

在上圖中拔创,沒(méi)有提及到消息中間件利诺。相對(duì)其他基本問(wèn)題,這個(gè)需要一個(gè)更適合的業(yè)務(wù)場(chǎng)景來(lái)談剩燥,在以后的章節(jié)中立轧,會(huì)再詳述。

常用的消息中間件躏吊,比如老一輩的ActiveMQ/RabbitMQ, 新一點(diǎn)的帐萎,阿里的RocketMQ比伏,LinkedIn的Kafka等。

消息中間件的一個(gè)典型場(chǎng)景就是:通過(guò)最終一致性疆导,解決上面的分布式事務(wù)問(wèn)題赁项。

分布式session問(wèn)題

在傳統(tǒng)的單機(jī)版應(yīng)用中,我們經(jīng)常使用session澈段。而當(dāng)單機(jī)擴(kuò)展到多機(jī)悠菜,單機(jī)的session就沒(méi)辦法被其他機(jī)器所訪問(wèn)。

此時(shí)就需要使用分布式session败富,把session存放在一個(gè)所有Tomcat都可以訪問(wèn)的地方悔醋。

關(guān)于分布式session,業(yè)界早有成熟方案兽叮,在此不再詳述芬骄。

總結(jié)

本文羅列了分布式系統(tǒng)的各種基本問(wèn)題和業(yè)界常用的技術(shù),希望建立起分布式系統(tǒng)的一個(gè)宏觀圖譜鹦聪。

文中的內(nèi)容有沒(méi)有學(xué)習(xí)資料账阻?

歡迎加裙725219329,一起學(xué)習(xí)泽本,相互討論淘太。

群內(nèi)已經(jīng)有小伙伴將知識(shí)體系整理好(源碼,PPT规丽,學(xué)習(xí)視頻)蒲牧,歡迎加群免費(fèi)領(lǐng)取。

分享給喜歡的Java的嘁捷,喜歡編程造成,有夢(mèng)想成為架構(gòu)師的程序員們,希望能夠幫助到你們雄嚣。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末晒屎,一起剝皮案震驚了整個(gè)濱河市喘蟆,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌鼓鲁,老刑警劉巖蕴轨,帶你破解...
    沈念sama閱讀 221,273評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異骇吭,居然都是意外死亡橙弱,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門(mén)燥狰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)棘脐,“玉大人,你說(shuō)我怎么就攤上這事龙致≈欤” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 167,709評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵目代,是天一觀的道長(zhǎng)屈梁。 經(jīng)常有香客問(wèn)我,道長(zhǎng)榛了,這世上最難降的妖魔是什么在讶? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,520評(píng)論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮霜大,結(jié)果婚禮上构哺,老公的妹妹穿的比我還像新娘。我一直安慰自己僧诚,他們只是感情好遮婶,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,515評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著湖笨,像睡著了一般旗扑。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上慈省,一...
    開(kāi)封第一講書(shū)人閱讀 52,158評(píng)論 1 308
  • 那天臀防,我揣著相機(jī)與錄音,去河邊找鬼边败。 笑死袱衷,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的笑窜。 我是一名探鬼主播致燥,決...
    沈念sama閱讀 40,755評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼排截!你這毒婦竟也來(lái)了嫌蚤?” 一聲冷哼從身側(cè)響起辐益,我...
    開(kāi)封第一講書(shū)人閱讀 39,660評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎脱吱,沒(méi)想到半個(gè)月后智政,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,203評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡箱蝠,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,287評(píng)論 3 340
  • 正文 我和宋清朗相戀三年续捂,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片宦搬。...
    茶點(diǎn)故事閱讀 40,427評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡牙瓢,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出间校,到底是詐尸還是另有隱情一罩,我是刑警寧澤,帶...
    沈念sama閱讀 36,122評(píng)論 5 349
  • 正文 年R本政府宣布撇簿,位于F島的核電站,受9級(jí)特大地震影響差购,放射性物質(zhì)發(fā)生泄漏四瘫。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,801評(píng)論 3 333
  • 文/蒙蒙 一欲逃、第九天 我趴在偏房一處隱蔽的房頂上張望找蜜。 院中可真熱鬧,春花似錦稳析、人聲如沸洗做。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,272評(píng)論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)诚纸。三九已至,卻和暖如春陈惰,著一層夾襖步出監(jiān)牢的瞬間畦徘,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,393評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工抬闯, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留井辆,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,808評(píng)論 3 376
  • 正文 我出身青樓溶握,卻偏偏與公主長(zhǎng)得像杯缺,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子睡榆,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,440評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容