總結(jié)自大型網(wǎng)站技術(shù)架構(gòu)
1. 初始階段的網(wǎng)站架構(gòu)
一般來(lái)講剑鞍，大型網(wǎng)站都是從小型網(wǎng)站發(fā)展而來(lái)姻檀，一開(kāi)始的架構(gòu)都比較簡(jiǎn)單闷煤，隨著業(yè)務(wù)復(fù)雜和用戶(hù)量的激增童芹，才開(kāi)始做很多架構(gòu)上的改進(jìn)。當(dāng)它還是小型網(wǎng)站的時(shí)候鲤拿，沒(méi)有太多訪(fǎng)客假褪，一般來(lái)講只需要一臺(tái)服務(wù)器就夠了，這時(shí)應(yīng)用程序近顷、數(shù)據(jù)庫(kù)嗜价、文件等所有資源都在一臺(tái)服務(wù)器上，網(wǎng)站架構(gòu)如下圖所示：
2. 應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離
隨著網(wǎng)站業(yè)務(wù)的發(fā)展和用戶(hù)量的增加幕庐，一臺(tái)服務(wù)器就無(wú)法再滿(mǎn)足需求了久锥。大量用戶(hù)訪(fǎng)問(wèn)導(dǎo)致訪(fǎng)問(wèn)速度越來(lái)越慢，而逐漸增加的數(shù)據(jù)也會(huì)導(dǎo)致存儲(chǔ)空間不足异剥。這時(shí)就需要將應(yīng)用和數(shù)據(jù)分離瑟由，應(yīng)用和數(shù)據(jù)分離后整個(gè)網(wǎng)站使用 3 臺(tái)服務(wù)器：應(yīng)用服務(wù)器、文件服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器冤寿。這 3 臺(tái)服務(wù)器對(duì)硬件資源的要求各不相同：
應(yīng)用服務(wù)器業(yè)務(wù)邏輯歹苦，需要強(qiáng)大的CPU
數(shù)據(jù)庫(kù)服務(wù)器對(duì)磁盤(pán)讀寫(xiě)操作很多，需要更快的磁盤(pán)和更大的內(nèi)存
文件服務(wù)器存儲(chǔ)用戶(hù)上傳的文件督怜，因此需要更大的磁盤(pán)空間
3. 使用緩存改善網(wǎng)站性能
隨著用戶(hù)再增加，網(wǎng)站又會(huì)一次面臨挑戰(zhàn)：數(shù)據(jù)庫(kù)壓力太大導(dǎo)致整站訪(fǎng)問(wèn)效率再此下降号杠，用戶(hù)體驗(yàn)受到影響蚪腋。一個(gè)網(wǎng)站丰歌，往往 80% 的業(yè)務(wù)訪(fǎng)問(wèn)集中在 20% 的數(shù)據(jù)上，比如微博請(qǐng)求量最多的肯定是那些千萬(wàn)級(jí)粉絲的大 V 的微博屉凯，而幾乎沒(méi)有人關(guān)注的你的首頁(yè)立帖，除了自己想起來(lái)之外根本不會(huì)被打開(kāi)。既然大部分業(yè)務(wù)訪(fǎng)問(wèn)集中在一小部分?jǐn)?shù)據(jù)上悠砚，那就把這一小部分?jǐn)?shù)據(jù)先提前緩存在內(nèi)存中晓勇，而不是每次都去數(shù)據(jù)庫(kù)讀取，這樣就可以減少數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)壓力灌旧，從而提高整個(gè)網(wǎng)站的訪(fǎng)問(wèn)速度绑咱。
網(wǎng)站使用的緩存一般分為緩存到應(yīng)用服務(wù)器或者緩存在專(zhuān)門(mén)的分布式緩存服務(wù)器。緩存到應(yīng)用服務(wù)器自己的訪(fǎng)問(wèn)速度快很多枢泰，但是受自身內(nèi)存限制描融，往往不太適用。遠(yuǎn)程分布式緩存使用一個(gè)集群專(zhuān)門(mén)負(fù)責(zé)緩存服務(wù)宗苍，當(dāng)內(nèi)存不夠還可以輕松得動(dòng)態(tài)擴(kuò)容。
4. 使用應(yīng)用服務(wù)器集群改善網(wǎng)站的并發(fā)處理能力
使用緩存后薄榛，數(shù)據(jù)訪(fǎng)問(wèn)壓力得到了緩解讳窟，但是單一應(yīng)用服務(wù)器能夠處理的請(qǐng)求連接有限，在網(wǎng)站訪(fǎng)問(wèn)高峰期敞恋，應(yīng)用服務(wù)器就成了整個(gè)網(wǎng)站的效率瓶頸丽啡。使用分布式集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段硬猫。當(dāng)一臺(tái)服務(wù)器的處理能力和存儲(chǔ)空間不足時(shí)补箍，不要嘗試去更換更強(qiáng)大的服務(wù)器，對(duì)大型網(wǎng)站而言啸蜜，多么強(qiáng)大的服務(wù)器坑雅，都滿(mǎn)足不了網(wǎng)站持續(xù)增長(zhǎng)的業(yè)務(wù)需求。這種情況下衬横，更恰當(dāng)?shù)淖龇ㄊ窃黾右慌_(tái)服務(wù)器分擔(dān)原有服務(wù)器的訪(fǎng)問(wèn)及存儲(chǔ)壓力裹粤。 對(duì)網(wǎng)站架構(gòu)而言，只要能通過(guò)增加一臺(tái)服務(wù)器的方式改善負(fù)載壓力蜂林，就可以以同樣的方式持續(xù)增加服務(wù)器不斷改善系統(tǒng)性能遥诉，從而實(shí)現(xiàn)系統(tǒng)的可伸縮性。應(yīng)用服務(wù)器實(shí)現(xiàn)集群是網(wǎng)站可伸縮架構(gòu)設(shè)計(jì)中較為簡(jiǎn)單成熟的一種噪叙，如下圖所示：
通過(guò)負(fù)載均衡調(diào)度服務(wù)器矮锈，可以將來(lái)自用戶(hù)瀏覽器的訪(fǎng)問(wèn)請(qǐng)求分發(fā)到應(yīng)用服務(wù)器集群中的任何一臺(tái)服務(wù)器上，如果有更多用戶(hù)睁蕾，就在集群中加入更多的應(yīng)用服務(wù)器苞笨，使應(yīng)用服務(wù)器的壓力不再成為整個(gè)網(wǎng)站的瓶頸。
5. 數(shù)據(jù)庫(kù)讀寫(xiě)分離
網(wǎng)站在使用緩存后，使對(duì)大部分?jǐn)?shù)據(jù)讀操作訪(fǎng)問(wèn)都可以不通過(guò)數(shù)據(jù)庫(kù)就能完成猫缭，但是仍有一部分讀操作（緩存訪(fǎng)問(wèn)不命中葱弟、緩存過(guò)期）和全部的寫(xiě)操作都需要訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)，在網(wǎng)站的用戶(hù)達(dá)到一定規(guī)模后猜丹，數(shù)據(jù)庫(kù)因?yàn)樨?fù)載壓力過(guò)高而成為網(wǎng)站的瓶頸芝加。 目前大部分的主流數(shù)據(jù)庫(kù)都提供主從熱備功能，通過(guò)配置兩臺(tái)數(shù)據(jù)庫(kù)主從關(guān)系射窒，可以將一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)更新同步到另一臺(tái)服務(wù)器上藏杖。網(wǎng)站利用數(shù)據(jù)庫(kù)的這一功能，實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀寫(xiě)分離脉顿，從而改善數(shù)據(jù)庫(kù)負(fù)載壓力蝌麸。如下圖所示：
應(yīng)用服務(wù)器在寫(xiě)數(shù)據(jù)的時(shí)候，訪(fǎng)問(wèn)主數(shù)據(jù)庫(kù)艾疟，主數(shù)據(jù)庫(kù)通過(guò)主從復(fù)制機(jī)制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫(kù)来吩，這樣當(dāng)應(yīng)用服務(wù)器讀數(shù)據(jù)的時(shí)候，就可以通過(guò)從數(shù)據(jù)庫(kù)獲得數(shù)據(jù)蔽莱。為了便于應(yīng)用程序訪(fǎng)問(wèn)讀寫(xiě)分離后的數(shù)據(jù)庫(kù)弟疆，通常在應(yīng)用服務(wù)器端使用專(zhuān)門(mén)的數(shù)據(jù)訪(fǎng)問(wèn)模塊，使數(shù)據(jù)庫(kù)讀寫(xiě)分離對(duì)應(yīng)用透明盗冷。
6. 使用反向代理和 CDN 加速網(wǎng)站響應(yīng)
隨著網(wǎng)站業(yè)務(wù)不斷發(fā)展怠苔，用戶(hù)規(guī)模越來(lái)越大，由于中國(guó)復(fù)雜的網(wǎng)絡(luò)環(huán)境仪糖，不同地區(qū)的用戶(hù)訪(fǎng)問(wèn)網(wǎng)站時(shí)柑司，速度差別也極大。有研究表明锅劝，網(wǎng)站訪(fǎng)問(wèn)延遲和用戶(hù)流失率正相關(guān)攒驰，網(wǎng)站訪(fǎng)問(wèn)越慢，用戶(hù)越容易失去耐心而離開(kāi)故爵。為了提供更好的用戶(hù)體驗(yàn)讼育，留住用戶(hù)，網(wǎng)站需要加速網(wǎng)站訪(fǎng)問(wèn)速度稠集。主要手段有使用 CDN 和反向代理奶段。如下圖所示：
7. 使用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)
任何強(qiáng)大的單一服務(wù)器都滿(mǎn)足不了大型網(wǎng)站持續(xù)增長(zhǎng)的業(yè)務(wù)需求。數(shù)據(jù)庫(kù)經(jīng)過(guò)讀寫(xiě)分離后剥纷，從一臺(tái)服務(wù)器拆分成兩臺(tái)服務(wù)器痹籍，但是隨著網(wǎng)站業(yè)務(wù)的發(fā)展依然不能滿(mǎn)足需求，這時(shí)需要使用分布式數(shù)據(jù)庫(kù)晦鞋。文件系統(tǒng)也一樣蹲缠，需要使用分布式文件系統(tǒng)棺克。如下圖所示：
分布式數(shù)據(jù)庫(kù)是網(wǎng)站數(shù)據(jù)庫(kù)拆分的最后手段，只有在單表數(shù)據(jù)規(guī)模非常龐大的時(shí)候才使用线定。不到不得已時(shí)娜谊，網(wǎng)站更常用的數(shù)據(jù)庫(kù)拆分手段是業(yè)務(wù)分庫(kù)，將不同業(yè)務(wù)的數(shù)據(jù)部署在不同的物理服務(wù)器上斤讥。
8. 使用 NoSQL 和搜索引擎
隨著網(wǎng)站業(yè)務(wù)越來(lái)越復(fù)雜纱皆，對(duì)數(shù)據(jù)存儲(chǔ)和檢索的需求也越來(lái)越復(fù)雜，網(wǎng)站需要采用一些非關(guān)系數(shù)據(jù)庫(kù)技術(shù)如 NoSQL 和非數(shù)據(jù)庫(kù)查詢(xún)技術(shù)如搜索引擎芭商。如下圖所示：
NoSQL 和搜索引擎都是源自互聯(lián)網(wǎng)的技術(shù)手段派草，對(duì)可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器則通過(guò)一個(gè)統(tǒng)一數(shù)據(jù)訪(fǎng)問(wèn)模塊訪(fǎng)問(wèn)各種數(shù)據(jù)铛楣，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩近迁。
9. 業(yè)務(wù)拆分
大型網(wǎng)站為了應(yīng)對(duì)日益復(fù)雜的業(yè)務(wù)場(chǎng)景，通過(guò)使用分而治之的手段將整個(gè)網(wǎng)站業(yè)務(wù)分成不同的產(chǎn)品線(xiàn)簸州。如大型購(gòu)物交易網(wǎng)站都會(huì)將首頁(yè)鉴竭、商鋪、訂單岸浑、買(mǎi)家搏存、賣(mài)家等拆分成不同的產(chǎn)品線(xiàn)，分歸不同的業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)助琐。
具體到技術(shù)上祭埂，也會(huì)根據(jù)產(chǎn)品線(xiàn)劃分面氓，將一個(gè)網(wǎng)站拆分成許多不同的應(yīng)用兵钮，每個(gè)應(yīng)用獨(dú)立部署。應(yīng)用之間可以通過(guò)一個(gè)超鏈接建立關(guān)系（在首頁(yè)上的導(dǎo)航鏈接每個(gè)都指向不同的應(yīng)用地址）舌界，也可以通過(guò)消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)掘譬，當(dāng)然最多的還是通過(guò)訪(fǎng)問(wèn)同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來(lái)構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)，如下圖所示：
10. 分布式服務(wù)
隨著業(yè)務(wù)拆分越來(lái)越小呻拌，存儲(chǔ)系統(tǒng)越來(lái)越龐大葱轩，應(yīng)用系統(tǒng)的整體復(fù)雜度呈指數(shù)級(jí)增加，部署維護(hù)越來(lái)越困難藐握。由于所有應(yīng)用要和所有數(shù)據(jù)庫(kù)系統(tǒng)連接靴拱，在數(shù)萬(wàn)臺(tái)服務(wù)器規(guī)模的網(wǎng)站中，這些連接的數(shù)目是服務(wù)器規(guī)模的平方猾普，導(dǎo)致數(shù)據(jù)庫(kù)連接資源不足袜炕，拒絕服務(wù)。
既然每一個(gè)應(yīng)用系統(tǒng)都需要執(zhí)行許多相同的業(yè)務(wù)操作初家，比如用戶(hù)管理偎窘、商品管理等乌助，那么可以將這些共用的業(yè)務(wù)提取出來(lái)，獨(dú)立部署陌知。由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫(kù)他托，提供共用業(yè)務(wù)服務(wù)，而應(yīng)用系統(tǒng)只需要管理用戶(hù)界面仆葡，通過(guò)分布式服務(wù)調(diào)用共用業(yè)務(wù)服務(wù)完成具體業(yè)務(wù)操作赏参。如下圖所示：
