大型網(wǎng)站的挑戰(zhàn)主要來(lái)自龐大的用戶，高并發(fā)的訪問(wèn)和海量數(shù)據(jù)携添，任何簡(jiǎn)單的業(yè)務(wù)一旦需要處理數(shù)以P計(jì)的數(shù)據(jù)和面對(duì)數(shù)以億計(jì)的用戶嫁盲，問(wèn)題就會(huì)變得棘手。大型網(wǎng)站架構(gòu)主要就是解決這類問(wèn)題烈掠。

大型網(wǎng)站系統(tǒng)的特點(diǎn)

高并發(fā)羞秤，大流量

需要面對(duì)高并發(fā)用戶，大流量訪問(wèn)左敌。Google 日均 PV 35 億瘾蛋，日 IP 訪問(wèn)數(shù) 3 億；騰訊 QQ 的最大在線用戶數(shù) 1.4 億（2011年數(shù)據(jù)）矫限。

高可用

系統(tǒng) 7 x 24 小時(shí)不間斷服務(wù)哺哼。

海量數(shù)據(jù)

需要存儲(chǔ)、管理海量數(shù)據(jù)叼风，需要使用大量服務(wù)器取董。Facebook 每周上傳的照片數(shù)量接近 10 億，百度收錄的網(wǎng)頁(yè)數(shù)目有數(shù)百億无宿，Google 有近百萬(wàn)臺(tái)服務(wù)器為全球用戶提供服務(wù)茵汰。

用戶分布廣泛，網(wǎng)絡(luò)情況復(fù)雜

許多大型互聯(lián)網(wǎng)站都是為全球用戶提供服務(wù)的孽鸡，用戶分布范圍廣蹂午，各地網(wǎng)絡(luò)情況千差萬(wàn)別坡垫。在國(guó)內(nèi)，還有各個(gè)運(yùn)營(yíng)商網(wǎng)絡(luò)互通難的問(wèn)題画侣。

安全環(huán)境惡劣

由于互聯(lián)網(wǎng)的開(kāi)放性冰悠，使得互聯(lián)網(wǎng)站更容易受到攻擊，大型網(wǎng)站幾乎每天都會(huì)被黑客攻擊配乱。

需求快速變更溉卓，發(fā)布頻繁

和傳統(tǒng)軟件的版本發(fā)布頻率不同，互聯(lián)網(wǎng)產(chǎn)品為快速適應(yīng)市場(chǎng)搬泥，滿足用戶需求桑寨，其產(chǎn)品發(fā)布頻率極高。一般大型網(wǎng)站的產(chǎn)品每周都有新版本發(fā)布上線忿檩，中小型網(wǎng)站的發(fā)布更頻繁尉尾，有時(shí)候一天會(huì)發(fā)布幾十次。

漸進(jìn)式發(fā)展

幾乎所有的大型互聯(lián)網(wǎng)網(wǎng)站都是從一個(gè)小網(wǎng)站開(kāi)始燥透，漸進(jìn)地發(fā)展起來(lái)的沙咏。Facebook 是扎克伯格同學(xué)在哈佛大學(xué)的宿舍里開(kāi)發(fā)的；Google 的第一臺(tái)服務(wù)器部署在斯坦福大學(xué)的實(shí)驗(yàn)室班套；阿里巴巴是在馬云家的客廳誕生的肢藐。好的互聯(lián)網(wǎng)產(chǎn)品都是慢慢運(yùn)營(yíng)出來(lái)的，不是一開(kāi)始就開(kāi)發(fā)好的吱韭，這也正好與網(wǎng)站架構(gòu)的發(fā)展演化過(guò)程對(duì)應(yīng)吆豹。

大型網(wǎng)站架構(gòu)演化發(fā)展歷程

大型網(wǎng)站的技術(shù)挑戰(zhàn)主要來(lái)自于龐大的用戶，高并發(fā)的訪問(wèn)和海量的數(shù)據(jù)理盆，任何簡(jiǎn)單的業(yè)務(wù)一旦需要處理數(shù)以 P 計(jì)的數(shù)據(jù)和面對(duì)數(shù)以億計(jì)的用戶痘煤，問(wèn)題就會(huì)變得很棘手。大型網(wǎng)站架構(gòu)主要解決這類問(wèn)題猿规。

初始階段的網(wǎng)站架構(gòu)

大型網(wǎng)站都是從小型網(wǎng)站發(fā)展而來(lái)衷快，網(wǎng)站架構(gòu)也是一樣，是從小型網(wǎng)站架構(gòu)逐步演化而來(lái)坎拐。小型網(wǎng)站最開(kāi)始沒(méi)有太多人訪問(wèn)烦磁，只需要一臺(tái)服務(wù)器就綽綽有余，這時(shí)的網(wǎng)站架構(gòu)如下圖所示：

應(yīng)用程序哼勇、數(shù)據(jù)庫(kù)都伪、文件等所有資源都在一臺(tái)服務(wù)器上。

應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離

隨著網(wǎng)站業(yè)務(wù)的發(fā)展积担，一臺(tái)服務(wù)器逐漸不能滿足需求：越來(lái)越多的用戶訪問(wèn)導(dǎo)致性能越來(lái)越差陨晶，越來(lái)越多的數(shù)據(jù)導(dǎo)致存儲(chǔ)空間不足。這時(shí)就需要將應(yīng)用和數(shù)據(jù)分離。應(yīng)用和數(shù)據(jù)分離后整個(gè)網(wǎng)站使用3臺(tái)服務(wù)器：應(yīng)用服務(wù)器先誉、文件服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器湿刽。這 3 臺(tái)服務(wù)器對(duì)硬件資源的要求各不相同：

應(yīng)用服務(wù)器需要處理大量的業(yè)務(wù)邏輯，因此需要更快更強(qiáng)大的CPU褐耳；

數(shù)據(jù)庫(kù)服務(wù)器需要快速磁盤(pán)檢索和數(shù)據(jù)緩存诈闺，因此需要更快的磁盤(pán)和更大的內(nèi)存；

文件服務(wù)器需要存儲(chǔ)大量用戶上傳的文件铃芦，因此需要更大的硬盤(pán)雅镊。

此時(shí)，網(wǎng)站系統(tǒng)的架構(gòu)如下圖所示：

應(yīng)用和數(shù)據(jù)分離后刃滓，不同特性的服務(wù)器承擔(dān)不同的服務(wù)角色仁烹，網(wǎng)站的并發(fā)處理能力和數(shù)據(jù)存儲(chǔ)空間得到了很大改善，支持網(wǎng)站業(yè)務(wù)進(jìn)一步發(fā)展咧虎。但是隨著用戶逐漸增多卓缰，網(wǎng)站又一次面臨挑戰(zhàn)：數(shù)據(jù)庫(kù)壓力太大導(dǎo)致訪問(wèn)延遲，進(jìn)而影響整個(gè)網(wǎng)站的性能砰诵，用戶體驗(yàn)受到影響征唬。這時(shí)需要對(duì)網(wǎng)站架構(gòu)進(jìn)一步優(yōu)化。

使用緩存改善網(wǎng)站性能

網(wǎng)站訪問(wèn)的特點(diǎn)和現(xiàn)實(shí)世界的財(cái)富分配一樣遵循二八定律：80% 的業(yè)務(wù)訪問(wèn)集中在20% 的數(shù)據(jù)上胧砰。既然大部分業(yè)務(wù)訪問(wèn)集中在一小部分?jǐn)?shù)據(jù)上鳍鸵，那么如果把這一小部分?jǐn)?shù)據(jù)緩存在內(nèi)存中苇瓣，就可以減少數(shù)據(jù)庫(kù)的訪問(wèn)壓力尉间，提高整個(gè)網(wǎng)站的數(shù)據(jù)訪問(wèn)速度，改善數(shù)據(jù)庫(kù)的寫(xiě)入性能了击罪。 網(wǎng)站使用的緩存可以分為兩種：緩存在應(yīng)用服務(wù)器上的本地緩存和緩存在專門(mén)的分布式緩存服務(wù)器上的遠(yuǎn)程緩存哲嘲。

本地緩存的訪問(wèn)速度更快一些，但是受應(yīng)用服務(wù)器內(nèi)存限制媳禁，其緩存數(shù)據(jù)量有限眠副，而且會(huì)出現(xiàn)和應(yīng)用程序爭(zhēng)用內(nèi)存的情況。

遠(yuǎn)程分布式緩存可以使用集群的方式竣稽，部署大內(nèi)存的服務(wù)器作為專門(mén)的緩存服務(wù)器囱怕，可以在理論上做到不受內(nèi)存容量限制的緩存服務(wù)。

使用緩存后毫别，數(shù)據(jù)訪問(wèn)壓力得到有效緩解娃弓，但是單一應(yīng)用服務(wù)器能夠處理的請(qǐng)求連接有限，在網(wǎng)站訪問(wèn)高峰期岛宦，應(yīng)用服務(wù)器成為整個(gè)網(wǎng)站的瓶頸台丛。

使用應(yīng)用服務(wù)器集群改善網(wǎng)站的并發(fā)處理能力

使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段砾肺。當(dāng)一臺(tái)服務(wù)器的處理能力挽霉、存儲(chǔ)空間不足時(shí)防嗡，不要企圖去更換更強(qiáng)大的服務(wù)器，對(duì)大型網(wǎng)站而言侠坎，不管多么強(qiáng)大的服務(wù)器蚁趁，都滿足不了網(wǎng)站持續(xù)增長(zhǎng)的業(yè)務(wù)需求。這種情況下实胸，更恰當(dāng)?shù)淖龇ㄊ窃黾右慌_(tái)服務(wù)器分擔(dān)原有服務(wù)器的訪問(wèn)及存儲(chǔ)壓力荣德。 對(duì)網(wǎng)站架構(gòu)而言，只要能通過(guò)增加一臺(tái)服務(wù)器的方式改善負(fù)載壓力童芹，就可以以同樣的方式持續(xù)增加服務(wù)器不斷改善系統(tǒng)性能涮瞻，從而實(shí)現(xiàn)系統(tǒng)的可伸縮性。應(yīng)用服務(wù)器實(shí)現(xiàn)集群是網(wǎng)站可伸縮架構(gòu)設(shè)計(jì)中較為簡(jiǎn)單成熟的一種假褪，如下圖所示：

通過(guò)負(fù)載均衡調(diào)度服務(wù)器署咽，可以將來(lái)自用戶瀏覽器的訪問(wèn)請(qǐng)求分發(fā)到應(yīng)用服務(wù)器集群中的任何一臺(tái)服務(wù)器上，如果有更多用戶生音，就在集群中加入更多的應(yīng)用服務(wù)器宁否，使應(yīng)用服務(wù)器的壓力不再成為整個(gè)網(wǎng)站的瓶頸。

數(shù)據(jù)庫(kù)讀寫(xiě)分離

網(wǎng)站在使用緩存后缀遍，使對(duì)大部分?jǐn)?shù)據(jù)讀操作訪問(wèn)都可以不通過(guò)數(shù)據(jù)庫(kù)就能完成慕匠，但是仍有一部分讀操作（緩存訪問(wèn)不命中、緩存過(guò)期）和全部的寫(xiě)操作都需要訪問(wèn)數(shù)據(jù)庫(kù)域醇，在網(wǎng)站的用戶達(dá)到一定規(guī)模后台谊，數(shù)據(jù)庫(kù)因?yàn)樨?fù)載壓力過(guò)高而成為網(wǎng)站的瓶頸。 目前大部分的主流數(shù)據(jù)庫(kù)都提供主從熱備功能譬挚，通過(guò)配置兩臺(tái)數(shù)據(jù)庫(kù)主從關(guān)系锅铅，可以將一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)更新同步到另一臺(tái)服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫(kù)的這一功能减宣，實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀寫(xiě)分離盐须，從而改善數(shù)據(jù)庫(kù)負(fù)載壓力。如下圖所示：

應(yīng)用服務(wù)器在寫(xiě)數(shù)據(jù)的時(shí)候漆腌，訪問(wèn)主數(shù)據(jù)庫(kù)贼邓，主數(shù)據(jù)庫(kù)通過(guò)主從復(fù)制機(jī)制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫(kù)，這樣當(dāng)應(yīng)用服務(wù)器讀數(shù)據(jù)的時(shí)候闷尿，就可以通過(guò)從數(shù)據(jù)庫(kù)獲得數(shù)據(jù)塑径。為了便于應(yīng)用程序訪問(wèn)讀寫(xiě)分離后的數(shù)據(jù)庫(kù)，通常在應(yīng)用服務(wù)器端使用專門(mén)的數(shù)據(jù)訪問(wèn)模塊悠砚，使數(shù)據(jù)庫(kù)讀寫(xiě)分離對(duì)應(yīng)用透明晓勇。

使用反向代理和 CDN 加速網(wǎng)站響應(yīng)

隨著網(wǎng)站業(yè)務(wù)不斷發(fā)展，用戶規(guī)模越來(lái)越大，由于中國(guó)復(fù)雜的網(wǎng)絡(luò)環(huán)境绑咱，不同地區(qū)的用戶訪問(wèn)網(wǎng)站時(shí)绰筛，速度差別也極大。有研究表明描融，網(wǎng)站訪問(wèn)延遲和用戶流失率正相關(guān)铝噩，網(wǎng)站訪問(wèn)越慢，用戶越容易失去耐心而離開(kāi)窿克。為了提供更好的用戶體驗(yàn)骏庸，留住用戶，網(wǎng)站需要加速網(wǎng)站訪問(wèn)速度年叮。主要手段有使用 CDN 和方向代理具被。如下圖所示：

CDN 和反向代理的基本原理都是緩存。

CDN 部署在網(wǎng)絡(luò)提供商的機(jī)房只损，使用戶在請(qǐng)求網(wǎng)站服務(wù)時(shí)一姿，可以從距離自己最近的網(wǎng)絡(luò)提供商機(jī)房獲取數(shù)據(jù)

反向代理則部署在網(wǎng)站的中心機(jī)房，當(dāng)用戶請(qǐng)求到達(dá)中心機(jī)房后跃惫，首先訪問(wèn)的服務(wù)器是反向代理服務(wù)器叮叹，如果反向代理服務(wù)器中緩存著用戶請(qǐng)求的資源，就將其直接返回給用戶

使用 CDN 和反向代理的目的都是盡早返回?cái)?shù)據(jù)給用戶爆存，一方面加快用戶訪問(wèn)速度蛉顽，另一方面也減輕后端服務(wù)器的負(fù)載壓力。

使用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)

任何強(qiáng)大的單一服務(wù)器都滿足不了大型網(wǎng)站持續(xù)增長(zhǎng)的業(yè)務(wù)需求先较。數(shù)據(jù)庫(kù)經(jīng)過(guò)讀寫(xiě)分離后携冤，從一臺(tái)服務(wù)器拆分成兩臺(tái)服務(wù)器，但是隨著網(wǎng)站業(yè)務(wù)的發(fā)展依然不能滿足需求拇泣，這時(shí)需要使用分布式數(shù)據(jù)庫(kù)噪叙。文件系統(tǒng)也一樣，需要使用分布式文件系統(tǒng)霉翔。如下圖所示：

分布式數(shù)據(jù)庫(kù)是網(wǎng)站數(shù)據(jù)庫(kù)拆分的最后手段，只有在單表數(shù)據(jù)規(guī)模非常龐大的時(shí)候才使用苞笨。不到不得已時(shí)债朵，網(wǎng)站更常用的數(shù)據(jù)庫(kù)拆分手段是業(yè)務(wù)分庫(kù)，將不同業(yè)務(wù)的數(shù)據(jù)部署在不同的物理服務(wù)器上瀑凝。

使用 NoSQL 和搜索引擎

隨著網(wǎng)站業(yè)務(wù)越來(lái)越復(fù)雜序芦，對(duì)數(shù)據(jù)存儲(chǔ)和檢索的需求也越來(lái)越復(fù)雜，網(wǎng)站需要采用一些非關(guān)系數(shù)據(jù)庫(kù)技術(shù)如 NoSQL 和非數(shù)據(jù)庫(kù)查詢技術(shù)如搜索引擎粤咪。如下圖所示：

NoSQL 和搜索引擎都是源自互聯(lián)網(wǎng)的技術(shù)手段谚中，對(duì)可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器則通過(guò)一個(gè)統(tǒng)一數(shù)據(jù)訪問(wèn)模塊訪問(wèn)各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩宪塔。

業(yè)務(wù)拆分

大型網(wǎng)站為了應(yīng)對(duì)日益復(fù)雜的業(yè)務(wù)場(chǎng)景磁奖，通過(guò)使用分而治之的手段將整個(gè)網(wǎng)站業(yè)務(wù)分成不同的產(chǎn)品線。如大型購(gòu)物交易網(wǎng)站都會(huì)將首頁(yè)某筐、商鋪比搭、訂單、買(mǎi)家南誊、賣家等拆分成不同的產(chǎn)品線身诺，分歸不同的業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)。

具體到技術(shù)上抄囚，也會(huì)根據(jù)產(chǎn)品線劃分霉赡，將一個(gè)網(wǎng)站拆分成許多不同的應(yīng)用，每個(gè)應(yīng)用獨(dú)立部署幔托。應(yīng)用之間可以通過(guò)一個(gè)超鏈接建立關(guān)系（在首頁(yè)上的導(dǎo)航鏈接每個(gè)都指向不同的應(yīng)用地址）同廉，也可以通過(guò)消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然最多的還是通過(guò)訪問(wèn)同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來(lái)構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)柑司，如下圖所示：

分布式服務(wù)

隨著業(yè)務(wù)拆分越來(lái)越小迫肖，存儲(chǔ)系統(tǒng)越來(lái)越龐大，應(yīng)用系統(tǒng)的整體復(fù)雜度呈指數(shù)級(jí)增加攒驰，部署維護(hù)越來(lái)越困難蟆湖。由于所有應(yīng)用要和所有數(shù)據(jù)庫(kù)系統(tǒng)連接，在數(shù)萬(wàn)臺(tái)服務(wù)器規(guī)模的網(wǎng)站中玻粪，這些連接的數(shù)目是服務(wù)器規(guī)模的平方隅津，導(dǎo)致數(shù)據(jù)庫(kù)連接資源不足，拒絕服務(wù)劲室。

既然每一個(gè)應(yīng)用系統(tǒng)都需要執(zhí)行許多相同的業(yè)務(wù)操作伦仍，比如用戶管理、商品管理等很洋，那么可以將這些共用的業(yè)務(wù)提取出來(lái)充蓝，獨(dú)立部署。由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫(kù)喉磁，提供共用業(yè)務(wù)服務(wù)谓苟，而應(yīng)用系統(tǒng)只需要管理用戶界面，通過(guò)分布式服務(wù)調(diào)用共用業(yè)務(wù)服務(wù)完成具體業(yè)務(wù)操作协怒。如下圖所示：

大型網(wǎng)站的架構(gòu)演化到這里涝焙，基本上大多數(shù)的技術(shù)問(wèn)題都得以解決，諸如跨數(shù)據(jù)中心的實(shí)時(shí)數(shù)據(jù)同步和具體網(wǎng)站業(yè)務(wù)相關(guān)的問(wèn)題也都可以通過(guò)組合改進(jìn)現(xiàn)有技術(shù)架構(gòu)解決孕暇。