大型網(wǎng)站架構(gòu)演化

作者:李小翀

鏈接:https://www.zhihu.com/question/22764869/answer/31277656

來源:知乎

著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)搏嗡,非商業(yè)轉(zhuǎn)載請注明出處候引。

分布式架構(gòu)的演進

系統(tǒng)架構(gòu)演化歷程-初始階段架構(gòu)


初始階段 的小型系統(tǒng) 應用程序耀销、數(shù)據(jù)庫淹接、文件等所有的資源都在一臺服務器上通俗稱為LAMP

特征:

應用程序、數(shù)據(jù)庫限佩、文件等所有的資源都在一臺服務器上肯夏。

描述:

通常服務器操作系統(tǒng)使用linux,應用程序使用PHP開發(fā)犀暑,然后部署在Apache上驯击,數(shù)據(jù)庫使用Mysql,匯集各種免費開源軟件以及一臺廉價服務器就可以開始系統(tǒng)的發(fā)展之路了耐亏。

系統(tǒng)架構(gòu)演化歷程-應用服務和數(shù)據(jù)服務分離

好景不長徊都,發(fā)現(xiàn)隨著系統(tǒng)訪問量的再度增加,webserver機器的壓力在高峰期會上升到比較高广辰,這個時候開始考慮增加一臺webserver

特征:

應用程序暇矫、數(shù)據(jù)庫主之、文件分別部署在獨立的資源上。

描述:

數(shù)據(jù)量增加李根,單臺服務器性能及存儲空間不足槽奕,需要將應用和數(shù)據(jù)分離,并發(fā)處理能力和數(shù)據(jù)存儲空間得到了很大改善房轿。

系統(tǒng)架構(gòu)演化歷程-使用緩存改善性能

特征:

數(shù)據(jù)庫中訪問較集中的一小部分數(shù)據(jù)存儲在緩存服務器中粤攒,減少數(shù)據(jù)庫的訪問次數(shù),降低數(shù)據(jù)庫的訪問壓力囱持。

描述:

系統(tǒng)訪問特點遵循二八定律夯接,即80%的業(yè)務訪問集中在20%的數(shù)據(jù)上。

緩存分為本地緩存和遠程分布式緩存纷妆,本地緩存訪問速度更快但緩存數(shù)據(jù)量有限盔几,同時存在與應用程序爭用內(nèi)存的情況。

系統(tǒng)架構(gòu)演化歷程-使用應用服務器集群

在做完分庫分表這些工作后掩幢,數(shù)據(jù)庫上的壓力已經(jīng)降到比較低了逊拍,又開始過著每天看著訪問量暴增的幸福生活了,突然有一天际邻,發(fā)現(xiàn)系統(tǒng)的訪問又開始有變慢的趨勢了顺献,這個時候首先查看數(shù)據(jù)庫,壓力一切正常枯怖,之后查看webserver,發(fā)現(xiàn)apache阻塞了很多的請求能曾,而應用服務器對每個請求也是比較快的度硝,看來 是請求數(shù)太高導致需要排隊等待,響應速度變慢

特征:

多臺服務器通過負載均衡同時向外部提供服務寿冕,解決單臺服務器處理能力和存儲空間上限的問題蕊程。

描述:

使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段驼唱。通過向集群中追加資源藻茂,提升系統(tǒng)的并發(fā)處理能力,使得服務器的負載壓力不再成為整個系統(tǒng)的瓶頸玫恳。

系統(tǒng)架構(gòu)演化歷程-數(shù)據(jù)庫讀寫分離

享受了一段時間的系統(tǒng)訪問量高速增長的幸福后辨赐,發(fā)現(xiàn)系統(tǒng)又開始變慢了,這次又是什么狀況呢京办,經(jīng)過查找掀序,發(fā)現(xiàn)數(shù)據(jù)庫寫入、更新的這些操作的部分數(shù)據(jù)庫連接的資源競爭非常激烈惭婿,導致了系統(tǒng)變慢

特征:

多臺服務器通過負載均衡同時向外部提供服務不恭,解決單臺服務器處理能力和存儲空間上限的問題叶雹。

描述:

使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段换吧。通過向集群中追加資源折晦,使得服務器的負載壓力不在成為整個系統(tǒng)的瓶頸。

系統(tǒng)架構(gòu)演化歷程-反向代理和CDN加速

特征:

采用CDN和反向代理加快系統(tǒng)的 訪問速度沾瓦。

描述:

為了應付復雜的網(wǎng)絡環(huán)境和不同地區(qū)用戶的訪問满着,通過CDN和反向代理加快用戶訪問的速度,同時減輕后端服務器的負載壓力暴拄。CDN與反向代理的基本原理都是緩存漓滔。

系統(tǒng)架構(gòu)演化歷程-分布式文件系統(tǒng)和分布式數(shù)據(jù)庫

隨著系統(tǒng)的不斷運行,數(shù)據(jù)量開始大幅度增長乖篷,這個時候發(fā)現(xiàn)分庫后查詢?nèi)匀粫行┞炻浚谑前凑辗謳斓乃枷腴_始做分表的工作

特征:

數(shù)據(jù)庫采用分布式數(shù)據(jù)庫,文件系統(tǒng)采用分布式文件系統(tǒng)撕蔼。

描述:

任何強大的單一服務器都滿足不了大型系統(tǒng)持續(xù)增長的業(yè)務需求豁鲤,數(shù)據(jù)庫讀寫分離隨著業(yè)務的發(fā)展最終也將無法滿足需求,需要使用分布式數(shù)據(jù)庫及分布式文件系統(tǒng)來支撐鲸沮。

分布式數(shù)據(jù)庫是系統(tǒng)數(shù)據(jù)庫拆分的最后方法琳骡,只有在單表數(shù)據(jù)規(guī)模非常龐大的時候才使用,更常用的數(shù)據(jù)庫拆分手段是業(yè)務分庫讼溺,將不同的業(yè)務數(shù)據(jù)庫部署在不同的物理服務器上楣号。

系統(tǒng)架構(gòu)演化歷程-使用NoSQL和搜索引擎

特征:

系統(tǒng)引入NoSQL數(shù)據(jù)庫及搜索引擎。

描述:

隨著業(yè)務越來越復雜怒坯,對數(shù)據(jù)存儲和檢索的需求也越來越復雜炫狱,系統(tǒng)需要采用一些非關(guān)系型數(shù)據(jù)庫如NoSQL和分數(shù)據(jù)庫查詢技術(shù)如搜索引擎。應用服務器通過統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)剔猿,減輕應用程序管理諸多數(shù)據(jù)源的麻煩视译。

系統(tǒng)架構(gòu)演化歷程-業(yè)務拆分

特征:

系統(tǒng)上按照業(yè)務進行拆分改造,應用服務器按照業(yè)務區(qū)分進行分別部署归敬。

描述:

為了應對日益復雜的業(yè)務場景酷含,通常使用分而治之的手段將整個系統(tǒng)業(yè)務分成不同的產(chǎn)品線,應用之間通過超鏈接建立關(guān)系汪茧,也可以通過消息隊列進行數(shù)據(jù)分發(fā)椅亚,當然更多的還是通過訪問同一個數(shù)據(jù)存儲系統(tǒng)來構(gòu)成一個關(guān)聯(lián)的完整系統(tǒng)。

縱向拆分:

將一個大應用拆分為多個小應用舱污,如果新業(yè)務較為獨立什往,那么就直接將其設(shè)計部署為一個獨立的Web應用系統(tǒng)

縱向拆分相對較為簡單,通過梳理業(yè)務慌闭,將較少相關(guān)的業(yè)務剝離即可别威。

橫向拆分:將復用的業(yè)務拆分出來躯舔,獨立部署為分布式服務,新增業(yè)務只需要調(diào)用這些分布式服務

橫向拆分需要識別可復用的業(yè)務省古,設(shè)計服務接口粥庄,規(guī)范服務依賴關(guān)系。

系統(tǒng)架構(gòu)演化歷程-分布式服務

特征:

公共的應用模塊被提取出來豺妓,部署在分布式服務器上供應用服務器調(diào)用惜互。

描述:

隨著業(yè)務越拆越小,應用系統(tǒng)整體復雜程度呈指數(shù)級上升琳拭,由于所有應用要和所有數(shù)據(jù)庫系統(tǒng)連接训堆,最終導致數(shù)據(jù)庫連接資源不足,拒絕服務白嘁。

Q:分布式服務應用會面臨哪些問題坑鱼?

A:

(1) 當服務越來越多時,服務URL配置管理變得非常困難絮缅,F(xiàn)5硬件負載均衡器的單點壓力也越來越大鲁沥。

(2) 當進一步發(fā)展,服務間依賴關(guān)系變得錯蹤復雜耕魄,甚至分不清哪個應用要在哪個應用之前啟動画恰,架構(gòu)師都不能完整的描述應用的架構(gòu)關(guān)系。

(3) 接著吸奴,服務的調(diào)用量越來越大允扇,服務的容量問題就暴露出來,這個服務需要多少機器支撐则奥?什么時候該加機器考润?

(4) 服務多了,溝通成本也開始上升逞度,調(diào)某個服務失敗該找誰?服務的參數(shù)都有什么約定妙啃?

(5) 一個服務有多個業(yè)務消費者档泽,如何確保服務質(zhì)量?

(6) 隨著服務的不停升級揖赴,總有些意想不到的事發(fā)生馆匿,比如cache寫錯了導致內(nèi)存溢出,故障不可避免燥滑,每次核心服務一掛渐北,影響一大片,人心慌慌铭拧,如何控制故障的影響面赃蛛?服務是否可以功能降級恃锉?或者資源劣化?

Java分布式應用技術(shù)基礎(chǔ)

分布式服務下的關(guān)鍵技術(shù):消息隊列架構(gòu)

消息對列通過消息對象分解系統(tǒng)耦合性呕臂,不同子系統(tǒng)處理同一個消息

分布式服務下的關(guān)鍵技術(shù):消息隊列原理

分布式服務下的關(guān)鍵技術(shù):服務框架架構(gòu)

服務框架通過接口分解系統(tǒng)耦合性破托,不同子系統(tǒng)通過相同的接口描述進行服務啟用

服務框架是一個點對點模型

服務框架面向同構(gòu)系統(tǒng)

適合:移動應用、互聯(lián)網(wǎng)應用歧蒋、外部系統(tǒng)

分布式服務下的關(guān)鍵技術(shù):服務框架原理

分布式服務下的關(guān)鍵技術(shù):服務總線架構(gòu)

服務總線同服務框架一樣土砂,均是通過接口分解系統(tǒng)耦合性,不同子系統(tǒng)通過相同的接口描述進行服務啟用

服務總線是一個總線式的模型

服務總線面向同構(gòu)谜洽、異構(gòu)系統(tǒng)

適合:內(nèi)部系統(tǒng)

分布式服務下的關(guān)鍵技術(shù):服務總線原理

分布式架構(gòu)下系統(tǒng)間交互的5種通信模式

request/response模式(同步模式):客戶端發(fā)起請求一直阻塞到服務端返回請求為止萝映。

Callback(異步模式):客戶端發(fā)送一個RPC請求給服務器,服務端處理后再發(fā)送一個消息給消息發(fā)送端提供的callback端點阐虚,此類情況非常合適以下場景:A組件發(fā)送RPC請求給B序臂,B處理完成后,需要通知A組件做后續(xù)處理敌呈。

Future模式:客戶端發(fā)送完請求后贸宏,繼續(xù)做自己的事情,返回一個包含消息結(jié)果的Future對象磕洪】粤罚客戶端需要使用返回結(jié)果時,使用Future對象的.get(),如果此時沒有結(jié)果返回的話析显,會一直阻塞到有結(jié)果返回為止鲫咽。

Oneway模式:客戶端調(diào)用完繼續(xù)執(zhí)行,不管接收端是否成功谷异。

Reliable模式:為保證通信可靠分尸,將借助于消息中心來實現(xiàn)消息的可靠送達,請求將做持久化存儲歹嘹,在接收方在線時做送達箩绍,并由消息中心保證異常重試。

五種通信模式的實現(xiàn)方式-同步點對點服務模式

五種通信模式的實現(xiàn)方式-異步點對點消息模式1

五種通信模式的實現(xiàn)方式-異步點對點消息模式2

五種通信模式的實現(xiàn)方式-異步廣播消息模式

分布式架構(gòu)下的服務治理

服務治理是服務框架/服務總線的核心功能尺上。所謂服務治理材蛛,是指服務的提供方和消費方達成一致的約定,保證服務的高質(zhì)量怎抛。服務治理功能可以解決將某些特定流量引入某一批機器卑吭,以及限制某些非法消費者的惡意訪問,并在提供者處理量達到一定程度是马绝,拒絕接受新的訪問豆赏。

基于服務框架Dubbo的服務治理-服務管理

道你的系統(tǒng),對外提供了多少服務,可以對服務進行升級掷邦、降級白胀、停用、權(quán)重調(diào)整等操作

可以知道你提供的服務耙饰,誰在使用纹笼,因業(yè)務需求,可以對該消費者實施屏蔽苟跪、停用等操作

基于服務框架Dubbo的服務治理-服務監(jiān)控

可以統(tǒng)計服務的每秒請求數(shù)廷痘、平均響應時間、調(diào)用量件已、峰值時間等笋额,作為服務集群規(guī)劃、性能調(diào)優(yōu)的參考指標篷扩。

基于服務框架Dubbo的服務治理-服務路由

基于服務框架Dubbo的服務治理-服務保護

基于服務總線OSB的服務治理-功能介紹

基于服務總線OSB的服務治理

Q:Dubbo到底是神馬兄猩?

A:

淘寶開源的高性能和透明化的RPC遠程調(diào)用服務框架

SOA服務治理方案

Q:Dubbo原理是?

A:

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末鉴未,一起剝皮案震驚了整個濱河市枢冤,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌铜秆,老刑警劉巖淹真,帶你破解...
    沈念sama閱讀 212,884評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異连茧,居然都是意外死亡核蘸,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,755評論 3 385
  • 文/潘曉璐 我一進店門啸驯,熙熙樓的掌柜王于貴愁眉苦臉地迎上來客扎,“玉大人,你說我怎么就攤上這事罚斗♂阌悖” “怎么了?”我有些...
    開封第一講書人閱讀 158,369評論 0 348
  • 文/不壞的土叔 我叫張陵针姿,是天一觀的道長袱吆。 經(jīng)常有香客問我,道長搓幌,這世上最難降的妖魔是什么杆故? 我笑而不...
    開封第一講書人閱讀 56,799評論 1 285
  • 正文 為了忘掉前任迅箩,我火速辦了婚禮溉愁,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己拐揭,他們只是感情好撤蟆,可當我...
    茶點故事閱讀 65,910評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著堂污,像睡著了一般家肯。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上盟猖,一...
    開封第一講書人閱讀 50,096評論 1 291
  • 那天讨衣,我揣著相機與錄音,去河邊找鬼式镐。 笑死反镇,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的娘汞。 我是一名探鬼主播歹茶,決...
    沈念sama閱讀 39,159評論 3 411
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼你弦!你這毒婦竟也來了惊豺?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,917評論 0 268
  • 序言:老撾萬榮一對情侶失蹤禽作,失蹤者是張志新(化名)和其女友劉穎尸昧,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體领迈,經(jīng)...
    沈念sama閱讀 44,360評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡彻磁,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,673評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了狸捅。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片衷蜓。...
    茶點故事閱讀 38,814評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖尘喝,靈堂內(nèi)的尸體忽然破棺而出磁浇,到底是詐尸還是另有隱情,我是刑警寧澤朽褪,帶...
    沈念sama閱讀 34,509評論 4 334
  • 正文 年R本政府宣布置吓,位于F島的核電站,受9級特大地震影響缔赠,放射性物質(zhì)發(fā)生泄漏衍锚。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,156評論 3 317
  • 文/蒙蒙 一嗤堰、第九天 我趴在偏房一處隱蔽的房頂上張望戴质。 院中可真熱鬧,春花似錦、人聲如沸告匠。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽后专。三九已至划鸽,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間戚哎,已是汗流浹背裸诽。 一陣腳步聲響...
    開封第一講書人閱讀 32,123評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留型凳,地道東北人崭捍。 一個月前我還...
    沈念sama閱讀 46,641評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像啰脚,于是被迫代替她去往敵國和親殷蛇。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,728評論 2 351

推薦閱讀更多精彩內(nèi)容