摘要: 大型網(wǎng)站的挑戰(zhàn)主要來自龐大的用戶焰薄，高并發(fā)的訪問和海量數(shù)據(jù)，任何簡單的業(yè)務一旦需要處理數(shù)以P計的數(shù)據(jù)和面對數(shù)以億計的用戶，問題就會變得棘手甘改。大型網(wǎng)站架構(gòu)主要就是解決這類問題。

大型網(wǎng)站系統(tǒng)的特點

高并發(fā)灭抑，大流量

需要面對高并發(fā)用戶十艾，大流量訪問。Google 日均 PV 35 億腾节，日 IP 訪問數(shù) 3 億忘嫉；騰訊 QQ 的最大在線用戶數(shù) 1.4 億（2011年數(shù)據(jù)）荤牍。

高可用

系統(tǒng) 7 x 24 小時不間斷服務。

海量數(shù)據(jù)

需要存儲庆冕、管理海量數(shù)據(jù)康吵，需要使用大量服務器。Facebook 每周上傳的照片數(shù)量接近 10 億访递，百度收錄的網(wǎng)頁數(shù)目有數(shù)百億晦嵌，Google 有近百萬臺服務器為全球用戶提供服務。

用戶分布廣泛拷姿，網(wǎng)絡(luò)情況復雜

許多大型互聯(lián)網(wǎng)站都是為全球用戶提供服務的惭载，用戶分布范圍廣，各地網(wǎng)絡(luò)情況千差萬別响巢。在國內(nèi)棕兼，還有各個運營商網(wǎng)絡(luò)互通難的問題。

安全環(huán)境惡劣

由于互聯(lián)網(wǎng)的開放性抵乓，使得互聯(lián)網(wǎng)站更容易受到攻擊伴挚，大型網(wǎng)站幾乎每天都會被黑客攻擊。

需求快速變更灾炭，發(fā)布頻繁

和傳統(tǒng)軟件的版本發(fā)布頻率不同茎芋，互聯(lián)網(wǎng)產(chǎn)品為快速適應市場，滿足用戶需求蜈出，其產(chǎn)品發(fā)布頻率極高田弥。一般大型網(wǎng)站的產(chǎn)品每周都有新版本發(fā)布上線，中小型網(wǎng)站的發(fā)布更頻繁铡原，有時候一天會發(fā)布幾十次偷厦。

漸進式發(fā)展

幾乎所有的大型互聯(lián)網(wǎng)網(wǎng)站都是從一個小網(wǎng)站開始，漸進地發(fā)展起來的燕刻。Facebook 是扎克伯格同學在哈佛大學的宿舍里開發(fā)的只泼；Google 的第一臺服務器部署在斯坦福大學的實驗室；阿里巴巴是在馬云家的客廳誕生的卵洗。好的互聯(lián)網(wǎng)產(chǎn)品都是慢慢運營出來的请唱，不是一開始就開發(fā)好的，這也正好與網(wǎng)站架構(gòu)的發(fā)展演化過程對應过蹂。

大型網(wǎng)站架構(gòu)演化發(fā)展歷程

大型網(wǎng)站的技術(shù)挑戰(zhàn)主要來自于龐大的用戶十绑，高并發(fā)的訪問和海量的數(shù)據(jù)，任何簡單的業(yè)務一旦需要處理數(shù)以 P 計的數(shù)據(jù)和面對數(shù)以億計的用戶酷勺，問題就會變得很棘手本橙。大型網(wǎng)站架構(gòu)主要解決這類問題。

初始階段的網(wǎng)站架構(gòu)

大型網(wǎng)站都是從小型網(wǎng)站發(fā)展而來脆诉，網(wǎng)站架構(gòu)也是一樣甚亭，是從小型網(wǎng)站架構(gòu)逐步演化而來贷币。小型網(wǎng)站最開始沒有太多人訪問，只需要一臺服務器就綽綽有余狂鞋，這時的網(wǎng)站架構(gòu)如下圖所示：

應用程序、數(shù)據(jù)庫潜的、文件等所有資源都在一臺服務器上骚揍。

應用服務和數(shù)據(jù)服務分離

隨著網(wǎng)站業(yè)務的發(fā)展，一臺服務器逐漸不能滿足需求：越來越多的用戶訪問導致性能越來越差啰挪，越來越多的數(shù)據(jù)導致存儲空間不足信不。這時就需要將應用和數(shù)據(jù)分離。應用和數(shù)據(jù)分離后整個網(wǎng)站使用3臺服務器：應用服務器亡呵、文件服務器和數(shù)據(jù)庫服務器抽活。這 3 臺服務器對硬件資源的要求各不相同：

應用服務器需要處理大量的業(yè)務邏輯，因此需要更快更強大的CPU锰什；

數(shù)據(jù)庫服務器需要快速磁盤檢索和數(shù)據(jù)緩存下硕，因此需要更快的磁盤和更大的內(nèi)存；

文件服務器需要存儲大量用戶上傳的文件汁胆，因此需要更大的硬盤梭姓。

此時，網(wǎng)站系統(tǒng)的架構(gòu)如下圖所示：

應用和數(shù)據(jù)分離后嫩码，不同特性的服務器承擔不同的服務角色誉尖，網(wǎng)站的并發(fā)處理能力和數(shù)據(jù)存儲空間得到了很大改善，支持網(wǎng)站業(yè)務進一步發(fā)展铸题。但是隨著用戶逐漸增多铡恕，網(wǎng)站又一次面臨挑戰(zhàn)：數(shù)據(jù)庫壓力太大導致訪問延遲，進而影響整個網(wǎng)站的性能丢间，用戶體驗受到影響探熔。這時需要對網(wǎng)站架構(gòu)進一步優(yōu)化。

使用緩存改善網(wǎng)站性能

網(wǎng)站訪問的特點和現(xiàn)實世界的財富分配一樣遵循二八定律：80% 的業(yè)務訪問集中在20% 的數(shù)據(jù)上烘挫。既然大部分業(yè)務訪問集中在一小部分數(shù)據(jù)上祭刚，那么如果把這一小部分數(shù)據(jù)緩存在內(nèi)存中，就可以減少數(shù)據(jù)庫的訪問壓力墙牌，提高整個網(wǎng)站的數(shù)據(jù)訪問速度涡驮，改善數(shù)據(jù)庫的寫入性能了。 網(wǎng)站使用的緩存可以分為兩種：緩存在應用服務器上的本地緩存和緩存在專門的分布式緩存服務器上的遠程緩存喜滨。

本地緩存的訪問速度更快一些捉捅，但是受應用服務器內(nèi)存限制，其緩存數(shù)據(jù)量有限虽风，而且會出現(xiàn)和應用程序爭用內(nèi)存的情況棒口。

遠程分布式緩存可以使用集群的方式寄月，部署大內(nèi)存的服務器作為專門的緩存服務器，可以在理論上做到不受內(nèi)存容量限制的緩存服務无牵。

使用緩存后漾肮，數(shù)據(jù)訪問壓力得到有效緩解，但是單一應用服務器能夠處理的請求連接有限茎毁，在網(wǎng)站訪問高峰期克懊，應用服務器成為整個網(wǎng)站的瓶頸。

針對上面講到的這些點七蜘，我們做技術(shù)的谭溉，不單單要做到知其然，還要知其所以然橡卤，知其所必然扮念，順便給大家推薦一個架構(gòu)交流學習群：650385180，里面會分享一些資深架構(gòu)師錄制的視頻錄像：有Spring碧库，MyBatis柜与，Netty源碼分析，高并發(fā)嵌灰、高性能旅挤、分布式、微服務架構(gòu)的原理伞鲫，JVM性能優(yōu)化這些成為架構(gòu)師必備的知識體系粘茄。還能領(lǐng)取免費的學習資源，目前受益良多秕脓，以下的課程體系圖也是在群里獲取柒瓣。

使用應用服務器集群改善網(wǎng)站的并發(fā)處理能力

使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問題的常用手段吠架。當一臺服務器的處理能力芙贫、存儲空間不足時，不要企圖去更換更強大的服務器傍药，對大型網(wǎng)站而言磺平，不管多么強大的服務器，都滿足不了網(wǎng)站持續(xù)增長的業(yè)務需求拐辽。這種情況下拣挪，更恰當?shù)淖龇ㄊ窃黾右慌_服務器分擔原有服務器的訪問及存儲壓力。 對網(wǎng)站架構(gòu)而言俱诸，只要能通過增加一臺服務器的方式改善負載壓力菠劝，就可以以同樣的方式持續(xù)增加服務器不斷改善系統(tǒng)性能，從而實現(xiàn)系統(tǒng)的可伸縮性睁搭。應用服務器實現(xiàn)集群是網(wǎng)站可伸縮架構(gòu)設(shè)計中較為簡單成熟的一種赶诊，如下圖所示：

通過負載均衡調(diào)度服務器笼平，可以將來自用戶瀏覽器的訪問請求分發(fā)到應用服務器集群中的任何一臺服務器上，如果有更多用戶舔痪，就在集群中加入更多的應用服務器寓调，使應用服務器的壓力不再成為整個網(wǎng)站的瓶頸。

數(shù)據(jù)庫讀寫分離

網(wǎng)站在使用緩存后锄码，使對大部分數(shù)據(jù)讀操作訪問都可以不通過數(shù)據(jù)庫就能完成夺英，但是仍有一部分讀操作（緩存訪問不命中、緩存過期）和全部的寫操作都需要訪問數(shù)據(jù)庫巍耗，在網(wǎng)站的用戶達到一定規(guī)模后秋麸，數(shù)據(jù)庫因為負載壓力過高而成為網(wǎng)站的瓶頸渐排。 目前大部分的主流數(shù)據(jù)庫都提供主從熱備功能炬太，通過配置兩臺數(shù)據(jù)庫主從關(guān)系，可以將一臺數(shù)據(jù)庫服務器的數(shù)據(jù)更新同步到另一臺服務器上驯耻。網(wǎng)站利用數(shù)據(jù)庫的這一功能亲族，實現(xiàn)數(shù)據(jù)庫讀寫分離，從而改善數(shù)據(jù)庫負載壓力可缚。如下圖所示：

應用服務器在寫數(shù)據(jù)的時候霎迫，訪問主數(shù)據(jù)庫，主數(shù)據(jù)庫通過主從復制機制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫帘靡，這樣當應用服務器讀數(shù)據(jù)的時候知给，就可以通過從數(shù)據(jù)庫獲得數(shù)據(jù)。為了便于應用程序訪問讀寫分離后的數(shù)據(jù)庫描姚，通常在應用服務器端使用專門的數(shù)據(jù)訪問模塊涩赢，使數(shù)據(jù)庫讀寫分離對應用透明。

使用反向代理和 CDN 加速網(wǎng)站響應

隨著網(wǎng)站業(yè)務不斷發(fā)展轩勘，用戶規(guī)模越來越大筒扒，由于中國復雜的網(wǎng)絡(luò)環(huán)境，不同地區(qū)的用戶訪問網(wǎng)站時绊寻，速度差別也極大花墩。有研究表明，網(wǎng)站訪問延遲和用戶流失率正相關(guān)澄步，網(wǎng)站訪問越慢冰蘑，用戶越容易失去耐心而離開。為了提供更好的用戶體驗村缸，留住用戶懂缕，網(wǎng)站需要加速網(wǎng)站訪問速度。主要手段有使用 CDN 和方向代理王凑。如下圖所示：

CDN 和反向代理的基本原理都是緩存搪柑。

CDN 部署在網(wǎng)絡(luò)提供商的機房聋丝，使用戶在請求網(wǎng)站服務時，可以從距離自己最近的網(wǎng)絡(luò)提供商機房獲取數(shù)據(jù)

反向代理則部署在網(wǎng)站的中心機房工碾，當用戶請求到達中心機房后弱睦，首先訪問的服務器是反向代理服務器，如果反向代理服務器中緩存著用戶請求的資源渊额，就將其直接返回給用戶

使用 CDN 和反向代理的目的都是盡早返回數(shù)據(jù)給用戶况木，一方面加快用戶訪問速度，另一方面也減輕后端服務器的負載壓力旬迹。

使用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)

任何強大的單一服務器都滿足不了大型網(wǎng)站持續(xù)增長的業(yè)務需求火惊。數(shù)據(jù)庫經(jīng)過讀寫分離后，從一臺服務器拆分成兩臺服務器奔垦，但是隨著網(wǎng)站業(yè)務的發(fā)展依然不能滿足需求屹耐，這時需要使用分布式數(shù)據(jù)庫。文件系統(tǒng)也一樣椿猎，需要使用分布式文件系統(tǒng)惶岭。如下圖所示：

分布式數(shù)據(jù)庫是網(wǎng)站數(shù)據(jù)庫拆分的最后手段，只有在單表數(shù)據(jù)規(guī)模非常龐大的時候才使用犯眠。不到不得已時按灶，網(wǎng)站更常用的數(shù)據(jù)庫拆分手段是業(yè)務分庫，將不同業(yè)務的數(shù)據(jù)部署在不同的物理服務器上筐咧。

使用 NoSQL 和搜索引擎

隨著網(wǎng)站業(yè)務越來越復雜鸯旁，對數(shù)據(jù)存儲和檢索的需求也越來越復雜，網(wǎng)站需要采用一些非關(guān)系數(shù)據(jù)庫技術(shù)如 NoSQL 和非數(shù)據(jù)庫查詢技術(shù)如搜索引擎量蕊。如下圖所示：

NoSQL 和搜索引擎都是源自互聯(lián)網(wǎng)的技術(shù)手段铺罢，對可伸縮的分布式特性具有更好的支持。應用服務器則通過一個統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)危融，減輕應用程序管理諸多數(shù)據(jù)源的麻煩畏铆。

業(yè)務拆分

大型網(wǎng)站為了應對日益復雜的業(yè)務場景，通過使用分而治之的手段將整個網(wǎng)站業(yè)務分成不同的產(chǎn)品線吉殃。如大型購物交易網(wǎng)站都會將首頁辞居、商鋪、訂單蛋勺、買家瓦灶、賣家等拆分成不同的產(chǎn)品線，分歸不同的業(yè)務團隊負責抱完。

具體到技術(shù)上贼陶，也會根據(jù)產(chǎn)品線劃分，將一個網(wǎng)站拆分成許多不同的應用，每個應用獨立部署碉怔。應用之間可以通過一個超鏈接建立關(guān)系（在首頁上的導航鏈接每個都指向不同的應用地址）烘贴，也可以通過消息隊列進行數(shù)據(jù)分發(fā)，當然最多的還是通過訪問同一個數(shù)據(jù)存儲系統(tǒng)來構(gòu)成一個關(guān)聯(lián)的完整系統(tǒng)撮胧，如下圖所示：

分布式服務

隨著業(yè)務拆分越來越小桨踪，存儲系統(tǒng)越來越龐大，應用系統(tǒng)的整體復雜度呈指數(shù)級增加芹啥，部署維護越來越困難锻离。由于所有應用要和所有數(shù)據(jù)庫系統(tǒng)連接，在數(shù)萬臺服務器規(guī)模的網(wǎng)站中墓怀，這些連接的數(shù)目是服務器規(guī)模的平方汽纠，導致數(shù)據(jù)庫連接資源不足，拒絕服務傀履。

既然每一個應用系統(tǒng)都需要執(zhí)行許多相同的業(yè)務操作虱朵，比如用戶管理、商品管理等啤呼，那么可以將這些共用的業(yè)務提取出來卧秘，獨立部署呢袱。由這些可復用的業(yè)務連接數(shù)據(jù)庫官扣，提供共用業(yè)務服務，而應用系統(tǒng)只需要管理用戶界面羞福，通過分布式服務調(diào)用共用業(yè)務服務完成具體業(yè)務操作惕蹄。如下圖所示：

大型網(wǎng)站的架構(gòu)演化到這里，基本上大多數(shù)的技術(shù)問題都得以解決治专，諸如跨數(shù)據(jù)中心的實時數(shù)據(jù)同步和具體網(wǎng)站業(yè)務相關(guān)的問題也都可以通過組合改進現(xiàn)有技術(shù)架構(gòu)解決卖陵。