由于分布式系統(tǒng)所涉及到的領(lǐng)域眾多蔽莱,知識(shí)龐雜,很多新人在最初往往找不到頭緒戚长,不知道從何處下手來(lái)一步步學(xué)習(xí)分布式架構(gòu)盗冷。
本文試圖通過(guò)一個(gè)最簡(jiǎn)單的、常用的分布式系統(tǒng)同廉,來(lái)闡述分布式系統(tǒng)中的一些基本問(wèn)題仪糖。
- 負(fù)載均衡
- 分布式緩存
- 分布式文件系統(tǒng)/CDN
- 分布式RPC
- 分布式數(shù)據(jù)庫(kù)/Nosql
- 分布式消息中間件
- 分布式session問(wèn)題
-總結(jié)
下圖為一個(gè)中大型網(wǎng)站/App的基本架構(gòu):
在這個(gè)架構(gòu)中,涉及到以上所列的基本問(wèn)題:
負(fù)載均衡
負(fù)載均衡是分布式系統(tǒng)中的一個(gè)最最基本的問(wèn)題迫肖。在上圖中:
網(wǎng)關(guān)需要把請(qǐng)求分發(fā)給不同的Tomcat锅劝;
Tomcat需要把收到的請(qǐng)求,分發(fā)給不同的Service蟆湖;
這都需要負(fù)載均衡故爵。一句話:凡是請(qǐng)求從一個(gè)入口進(jìn)來(lái),需要分發(fā)給后端不同的機(jī)器時(shí)隅津,就需要負(fù)載均衡诬垂。
局域網(wǎng)負(fù)載均衡
在上圖中,負(fù)載均衡發(fā)生在局域網(wǎng)內(nèi)部伦仍。在這里结窘,常用的網(wǎng)關(guān)軟件有Nginx/HAProxy/F5/LVS/各種云上的SLB等。
廣域網(wǎng)負(fù)載均衡
在上圖之外充蓝,還有廣域網(wǎng)負(fù)載均衡晦鞋。這通常發(fā)生在域名服務(wù)器上,而不是局域網(wǎng)內(nèi)部。
同1個(gè)域名悠垛,映射到不同的局域網(wǎng)集群。
負(fù)載均衡算法
常用的負(fù)載均衡算法:隨機(jī)娜谊,輪詢(Round Robin)确买,最小資源數(shù),hash纱皆。
分布式緩存
在上圖中湾趾,當(dāng)DB負(fù)載過(guò)高,我需要為Service機(jī)器加緩存時(shí)派草,就遇到一個(gè)基本問(wèn)題:
如果使用local的內(nèi)存做緩存搀缠,則其他Service機(jī)器就沒(méi)辦法共用此緩存。
因次近迁,我需要一個(gè)可以讓所有Service機(jī)器共享的緩存艺普,這就是分布式緩存。
常用的分布式緩存組件:Memcached/Redis/Tair等
分布式文件系統(tǒng)
在上圖中鉴竭,當(dāng)我要存儲(chǔ)客戶端上傳的圖片文件時(shí)歧譬,就會(huì)遇到另一個(gè)基本問(wèn)題:我不能把圖片存在每個(gè)Tomcat的本地文件系統(tǒng)里面,這樣的話搏存,其他機(jī)器就沒(méi)辦法訪問(wèn)了瑰步。我需要一個(gè)讓所有機(jī)器可以共享的文件系統(tǒng),這就是分布式文件系統(tǒng)璧眠。
常用的分布式文件系統(tǒng):MogileFS/TFS/HDFS/Amazon S3/OpenStack Swift等
當(dāng)使用了分布式文件系統(tǒng)缩焦,對(duì)外提供圖片url訪問(wèn)服務(wù)時(shí),就會(huì)遇到另一個(gè)基本問(wèn)題:如果每次文件的訪問(wèn)责静,都要到分布式文件系統(tǒng)里面去取袁滥,效率和負(fù)載就可能成為問(wèn)題。
為此泰演,就需要引入CDN呻拌。
常用的CDN廠商,比如ChinCache睦焕。當(dāng)然藐握,現(xiàn)在的各種云存儲(chǔ),比如七牛云垃喊,阿里云猾普,騰訊云,已經(jīng)自帶了CDN本谜。
分布式RPC
分布式系統(tǒng)的一個(gè)基本問(wèn)題就是:機(jī)器與機(jī)器之間如何通信初家? 我們都知道底層原理是TCP/IP,Socket。
但一般很少有人會(huì)去裸寫(xiě)Socket溜在,實(shí)現(xiàn)機(jī)器之間的通信陌知。這里,最常用的組件就是RPC掖肋。
最簡(jiǎn)單的實(shí)現(xiàn)RPC的方式就是使用http仆葡。當(dāng)然,業(yè)界有很多成熟的開(kāi)源RPC框架志笼,如Facebook的Thrift, 阿里的Dubbo沿盅,點(diǎn)評(píng)的Pigeon。纫溃。
在RPC內(nèi)部腰涧,一般都自己實(shí)現(xiàn)了負(fù)載均衡。還有更復(fù)雜的紊浩,如多版本窖铡,服務(wù)降級(jí)等。
補(bǔ)充一句:雖然底層原理都是Socket郎楼,但使用不同框架/組件時(shí)万伤,通常都有其自己的跨機(jī)器通信方式,比如MySQL JDBC呜袁,RPC敌买, 消息中間件等。
分布式數(shù)據(jù)庫(kù)
在上圖中阶界,DB是單一節(jié)點(diǎn)虹钮。當(dāng)訪問(wèn)量達(dá)到一定程度,就會(huì)涉及到mysql的分庫(kù)分表問(wèn)題膘融。
分庫(kù)/分表之后芙粱,就會(huì)涉及到j(luò)oin的問(wèn)題,分布式事務(wù)的問(wèn)題氧映。
關(guān)于分庫(kù)分表春畔,業(yè)界也早有成熟方案。對(duì)上層屏蔽分庫(kù)分表岛都,sql的執(zhí)行律姨,像是在單庫(kù)一樣。
還有像MongoDB這種Nosql數(shù)據(jù)庫(kù)臼疫,天生是分布式的择份。但同樣會(huì)面對(duì)Mysql分庫(kù)分表所要面對(duì)的問(wèn)題。
還有像阿里的OceanBase烫堤,有Mysql的強(qiáng)一致性保證荣赶,又是分布式的凤价,還可以支持分布式事務(wù)。
分布式消息中間件
在上圖中拔创,沒(méi)有提及到消息中間件利诺。相對(duì)其他基本問(wèn)題,這個(gè)需要一個(gè)更適合的業(yè)務(wù)場(chǎng)景來(lái)談剩燥,在以后的章節(jié)中立轧,會(huì)再詳述。
常用的消息中間件躏吊,比如老一輩的ActiveMQ/RabbitMQ, 新一點(diǎn)的帐萎,阿里的RocketMQ比伏,LinkedIn的Kafka等。
消息中間件的一個(gè)典型場(chǎng)景就是:通過(guò)最終一致性疆导,解決上面的分布式事務(wù)問(wèn)題赁项。
分布式session問(wèn)題
在傳統(tǒng)的單機(jī)版應(yīng)用中,我們經(jīng)常使用session澈段。而當(dāng)單機(jī)擴(kuò)展到多機(jī)悠菜,單機(jī)的session就沒(méi)辦法被其他機(jī)器所訪問(wèn)。
此時(shí)就需要使用分布式session败富,把session存放在一個(gè)所有Tomcat都可以訪問(wèn)的地方悔醋。
關(guān)于分布式session,業(yè)界早有成熟方案兽叮,在此不再詳述芬骄。
總結(jié)
本文羅列了分布式系統(tǒng)的各種基本問(wèn)題和業(yè)界常用的技術(shù),希望建立起分布式系統(tǒng)的一個(gè)宏觀圖譜鹦聪。
文中的內(nèi)容有沒(méi)有學(xué)習(xí)資料账阻?
歡迎加裙725219329,一起學(xué)習(xí)泽本,相互討論淘太。
群內(nèi)已經(jīng)有小伙伴將知識(shí)體系整理好(源碼,PPT规丽,學(xué)習(xí)視頻)蒲牧,歡迎加群免費(fèi)領(lǐng)取。
分享給喜歡的Java的嘁捷,喜歡編程造成,有夢(mèng)想成為架構(gòu)師的程序員們,希望能夠幫助到你們雄嚣。