阿里巴巴為什么能抗住90秒100億艇劫?看完這篇你就明白了!

作者:huashiou
鏈接:https://segmentfault.com/a/1190000018626163

1啡莉、概述

本文以淘寶作為例子港准,介紹從一百個并發(fā)到千萬級并發(fā)情況下服務(wù)端的架構(gòu)的演進(jìn)過程,同時列舉出每個演進(jìn)階段會遇到的相關(guān)技術(shù)咧欣,讓大家對架構(gòu)的演進(jìn)有一個整體的認(rèn)知浅缸,文章最后匯總了一些架構(gòu)設(shè)計的原則。

2魄咕、基本概念

在介紹架構(gòu)之前衩椒,為了避免部分讀者對架構(gòu)設(shè)計中的一些概念不了解,下面對幾個最基礎(chǔ)的概念進(jìn)行介紹哮兰。

1)什么是分布式毛萌?
系統(tǒng)中的多個模塊在不同服務(wù)器上部署,即可稱為分布式系統(tǒng)喝滞,如Tomcat和數(shù)據(jù)庫分別部署在不同的服務(wù)器上阁将,或兩個相同功能的Tomcat分別部署在不同服務(wù)器上。

2)什么是高可用右遭?
系統(tǒng)中部分節(jié)點(diǎn)失效時做盅,其他節(jié)點(diǎn)能夠接替它繼續(xù)提供服務(wù),則可認(rèn)為系統(tǒng)具有高可用性窘哈。

3)什么是集群吹榴?
一個特定領(lǐng)域的軟件部署在多臺服務(wù)器上并作為一個整體提供一類服務(wù),這個整體稱為集群滚婉。
如Zookeeper中的Master和Slave分別部署在多臺服務(wù)器上图筹,共同組成一個整體提供集中配置服務(wù)。
在常見的集群中让腹,客戶端往往能夠連接任意一個節(jié)點(diǎn)獲得服務(wù)远剩,并且當(dāng)集群中一個節(jié)點(diǎn)掉線時,其他節(jié)點(diǎn)往往能夠自動的接替它繼續(xù)提供服務(wù)哨鸭,這時候說明集群具有高可用性民宿。

4)什么是負(fù)載均衡?
請求發(fā)送到系統(tǒng)時像鸡,通過某些方式把請求均勻分發(fā)到多個節(jié)點(diǎn)上活鹰,使系統(tǒng)中每個節(jié)點(diǎn)能夠均勻的處理請求負(fù)載哈恰,則可認(rèn)為系統(tǒng)是負(fù)載均衡的。

5)什么是正向代理和反向代理志群?
系統(tǒng)內(nèi)部要訪問外部網(wǎng)絡(luò)時着绷,統(tǒng)一通過一個代理服務(wù)器把請求轉(zhuǎn)發(fā)出去,在外部網(wǎng)絡(luò)看來就是代理服務(wù)器發(fā)起的訪問锌云,此時代理服務(wù)器實(shí)現(xiàn)的是正向代理荠医;
當(dāng)外部請求進(jìn)入系統(tǒng)時,代理服務(wù)器把該請求轉(zhuǎn)發(fā)到系統(tǒng)中的某臺服務(wù)器上桑涎,對外部請求來說彬向,與之交互的只有代理服務(wù)器,此時代理服務(wù)器實(shí)現(xiàn)的是反向代理攻冷。
簡單來說娃胆,正向代理是代理服務(wù)器代替系統(tǒng)內(nèi)部來訪問外部網(wǎng)絡(luò)的過程,反向代理是外部請求訪問系統(tǒng)時通過代理服務(wù)器轉(zhuǎn)發(fā)到內(nèi)部服務(wù)器的過程等曼。

3里烦、架構(gòu)演進(jìn)

3.1 單機(jī)架構(gòu)

image

以淘寶作為例子:在網(wǎng)站最初時,應(yīng)用數(shù)量與用戶數(shù)都較少禁谦,可以把Tomcat和數(shù)據(jù)庫部署在同一臺服務(wù)器上胁黑。

瀏覽器往www.taobao.com發(fā)起請求時,首先經(jīng)過DNS服務(wù)器(域名系統(tǒng))把域名轉(zhuǎn)換為實(shí)際IP地址10.102.4.1州泊,瀏覽器轉(zhuǎn)而訪問該IP對應(yīng)的Tomcat丧蘸。

架構(gòu)瓶頸:隨著用戶數(shù)的增長,Tomcat和數(shù)據(jù)庫之間競爭資源遥皂,單機(jī)性能不足以支撐業(yè)務(wù)触趴。

3.2第一次演進(jìn):Tomcat與數(shù)據(jù)庫分開部署

image

Tomcat和數(shù)據(jù)庫分別獨(dú)占服務(wù)器資源,顯著提高兩者各自性能渴肉。

架構(gòu)瓶頸:隨著用戶數(shù)的增長,并發(fā)讀寫數(shù)據(jù)庫成為瓶頸爽冕。

Tips:歡迎關(guān)注微信公眾號:Java后端仇祭,獲取更多技術(shù)博文推送。

3.3 第二次演進(jìn):引入本地緩存和分布式緩存

image

在Tomcat同服務(wù)器上或同JVM中增加本地緩存颈畸,并在外部增加分布式緩存乌奇,緩存熱門商品信息或熱門商品的html頁面等。通過緩存能把絕大多數(shù)請求在讀寫數(shù)據(jù)庫前攔截掉眯娱,大大降低數(shù)據(jù)庫壓力礁苗。

其中涉及的技術(shù)包括:使用memcached作為本地緩存,使用Redis作為分布式緩存徙缴,還會涉及緩存一致性试伙、緩存穿透/擊穿、緩存雪崩、熱點(diǎn)數(shù)據(jù)集中失效等問題疏叨。

架構(gòu)瓶頸:緩存抗住了大部分的訪問請求潘靖,隨著用戶數(shù)的增長,并發(fā)壓力主要落在單機(jī)的Tomcat上蚤蔓,響應(yīng)逐漸變慢卦溢。

3.4 第三次演進(jìn):引入反向代理實(shí)現(xiàn)負(fù)載均衡

image

在多臺服務(wù)器上分別部署Tomcat,使用反向代理軟件(Nginx)把請求均勻分發(fā)到每個Tomcat中秀又。

此處假設(shè)Tomcat最多支持100個并發(fā)单寂,Nginx最多支持50000個并發(fā),那么理論上Nginx把請求分發(fā)到500個Tomcat上吐辙,就能抗住50000個并發(fā)宣决。

其中涉及的技術(shù)包括:Nginx、HAProxy袱讹,兩者都是工作在網(wǎng)絡(luò)第七層的反向代理軟件疲扎,主要支持http協(xié)議,還會涉及session共享捷雕、文件上傳下載的問題椒丧。

架構(gòu)瓶頸:反向代理使應(yīng)用服務(wù)器可支持的并發(fā)量大大增加,但并發(fā)量的增長也意味著更多請求穿透到數(shù)據(jù)庫救巷,單機(jī)的數(shù)據(jù)庫最終成為瓶頸壶熏。

3.5 第四次演進(jìn):數(shù)據(jù)庫讀寫分離

image

把數(shù)據(jù)庫劃分為讀庫和寫庫,讀庫可以有多個浦译,通過同步機(jī)制把寫庫的數(shù)據(jù)同步到讀庫棒假,對于需要查詢最新寫入數(shù)據(jù)場景,可通過在緩存中多寫一份精盅,通過緩存獲得最新數(shù)據(jù)帽哑。

其中涉及的技術(shù)包括:Mycat,它是數(shù)據(jù)庫中間件叹俏,可通過它來組織數(shù)據(jù)庫的分離讀寫和分庫分表妻枕,客戶端通過它來訪問下層數(shù)據(jù)庫,還會涉及數(shù)據(jù)同步粘驰,數(shù)據(jù)一致性的問題屡谐。

架構(gòu)瓶頸:業(yè)務(wù)逐漸變多,不同業(yè)務(wù)之間的訪問量差距較大蝌数,不同業(yè)務(wù)直接競爭數(shù)據(jù)庫愕掏,相互影響性能。

3.6 第五次演進(jìn):數(shù)據(jù)庫按業(yè)務(wù)分庫

image

把不同業(yè)務(wù)的數(shù)據(jù)保存到不同的數(shù)據(jù)庫中顶伞,使業(yè)務(wù)之間的資源競爭降低饵撑,對于訪問量大的業(yè)務(wù)剑梳,可以部署更多的服務(wù)器來支撐。

這樣同時導(dǎo)致跨業(yè)務(wù)的表無法直接做關(guān)聯(lián)分析肄梨,需要通過其他途徑來解決阻荒,但這不是本文討論的重點(diǎn),有興趣的可以自行搜索解決方案众羡。

架構(gòu)瓶頸:隨著用戶數(shù)的增長侨赡,單機(jī)的寫庫會逐漸會達(dá)到性能瓶頸。

3.7 第六次演進(jìn):把大表拆分為小表

image

比如針對評論數(shù)據(jù)粱侣,可按照商品ID進(jìn)行hash羊壹,路由到對應(yīng)的表中存儲;

針對支付記錄齐婴,可按照小時創(chuàng)建表油猫,每個小時表繼續(xù)拆分為小表,使用用戶ID或記錄編號來路由數(shù)據(jù)柠偶。

只要實(shí)時操作的表數(shù)據(jù)量足夠小情妖,請求能夠足夠均勻的分發(fā)到多臺服務(wù)器上的小表,那數(shù)據(jù)庫就能通過水平擴(kuò)展的方式來提高性能诱担。其中前面提到的Mycat也支持在大表拆分為小表情況下的訪問控制毡证。

這種做法顯著的增加了數(shù)據(jù)庫運(yùn)維的難度,對DBA的要求較高。數(shù)據(jù)庫設(shè)計到這種結(jié)構(gòu)時,已經(jīng)可以稱為分布式數(shù)據(jù)庫

但這只是一個邏輯的數(shù)據(jù)庫整體灾票,數(shù)據(jù)庫里不同的組成部分是由不同的組件單獨(dú)來實(shí)現(xiàn)的

如分庫分表的管理和請求分發(fā),由Mycat實(shí)現(xiàn)恤煞,SQL的解析由單機(jī)的數(shù)據(jù)庫實(shí)現(xiàn),讀寫分離可能由網(wǎng)關(guān)和消息隊列來實(shí)現(xiàn)施籍,查詢結(jié)果的匯總可能由數(shù)據(jù)庫接口層來實(shí)現(xiàn)等等

這種架構(gòu)其實(shí)是MPP(大規(guī)模并行處理)架構(gòu)的一類實(shí)現(xiàn)居扒。

目前開源和商用都已經(jīng)有不少M(fèi)PP數(shù)據(jù)庫,開源中比較流行的有Greenplum丑慎、TiDB苔货、Postgresql XC、HAWQ等立哑,商用的如南大通用的GBase、睿帆科技的雪球DB姻灶、華為的LibrA等等

不同的MPP數(shù)據(jù)庫的側(cè)重點(diǎn)也不一樣铛绰,如TiDB更側(cè)重于分布式OLTP場景,Greenplum更側(cè)重于分布式OLAP場景

這些MPP數(shù)據(jù)庫基本都提供了類似Postgresql产喉、Oracle捂掰、MySQL那樣的SQL標(biāo)準(zhǔn)支持能力敢会,能把一個查詢解析為分布式的執(zhí)行計劃分發(fā)到每臺機(jī)器上并行執(zhí)行,最終由數(shù)據(jù)庫本身匯總數(shù)據(jù)進(jìn)行返回

也提供了諸如權(quán)限管理这嚣、分庫分表鸥昏、事務(wù)、數(shù)據(jù)副本等能力姐帚,并且大多能夠支持100個節(jié)點(diǎn)以上的集群吏垮,大大降低了數(shù)據(jù)庫運(yùn)維的成本,并且使數(shù)據(jù)庫也能夠?qū)崿F(xiàn)水平擴(kuò)展罐旗。

架構(gòu)瓶頸:數(shù)據(jù)庫和Tomcat都能夠水平擴(kuò)展膳汪,可支撐的并發(fā)大幅提高,隨著用戶數(shù)的增長九秀,最終單機(jī)的Nginx會成為瓶頸遗嗽。

3.8 第七次演進(jìn):使用LVS或F5來使多個Nginx負(fù)載均衡

image

由于瓶頸在Nginx,因此無法通過兩層的Nginx來實(shí)現(xiàn)多個Nginx的負(fù)載均衡鼓蜒。

圖中的LVS和F5是工作在網(wǎng)絡(luò)第四層的負(fù)載均衡解決方案痹换,其中LVS是軟件,運(yùn)行在操作系統(tǒng)內(nèi)核態(tài)都弹,可對TCP請求或更高層級的網(wǎng)絡(luò)協(xié)議進(jìn)行轉(zhuǎn)發(fā)娇豫,因此支持的協(xié)議更豐富,并且性能也遠(yuǎn)高于Nginx缔杉,可假設(shè)單機(jī)的LVS可支持幾十萬個并發(fā)的請求轉(zhuǎn)發(fā)锤躁;

F5是一種負(fù)載均衡硬件,與LVS提供的能力類似或详,性能比LVS更高系羞,但價格昂貴。

由于LVS是單機(jī)版的軟件霸琴,若LVS所在服務(wù)器宕機(jī)則會導(dǎo)致整個后端系統(tǒng)都無法訪問椒振,因此需要有備用節(jié)點(diǎn)。

可使用keepalived軟件模擬出虛擬IP梧乘,然后把虛擬IP綁定到多臺LVS服務(wù)器上澎迎,瀏覽器訪問虛擬IP時,會被路由器重定向到真實(shí)的LVS服務(wù)器

當(dāng)主LVS服務(wù)器宕機(jī)時选调,keepalived軟件會自動更新路由器中的路由表夹供,把虛擬IP重定向到另外一臺正常的LVS服務(wù)器,從而達(dá)到LVS服務(wù)器高可用的效果仁堪。

此處需要注意的是哮洽,上圖中從Nginx層到Tomcat層這樣畫并不代表全部Nginx都轉(zhuǎn)發(fā)請求到全部的Tomcat

在實(shí)際使用時,可能會是幾個Nginx下面接一部分的Tomcat弦聂,這些Nginx之間通過keepalived實(shí)現(xiàn)高可用鸟辅,其他的Nginx接另外的Tomcat氛什,這樣可接入的Tomcat數(shù)量就能成倍的增加。

架構(gòu)瓶頸:由于LVS也是單機(jī)的匪凉,隨著并發(fā)數(shù)增長到幾十萬時枪眉,LVS服務(wù)器最終會達(dá)到瓶頸,此時用戶數(shù)達(dá)到千萬甚至上億級別再层,用戶分布在不同的地區(qū)贸铜,與服務(wù)器機(jī)房距離不同,導(dǎo)致了訪問的延遲會明顯不同树绩。

3.9 第八次演進(jìn):通過DNS輪詢實(shí)現(xiàn)機(jī)房間的負(fù)載均衡

image

在DNS服務(wù)器中可配置一個域名對應(yīng)多個IP地址萨脑,每個IP地址對應(yīng)到不同的機(jī)房里的虛擬IP。

當(dāng)用戶訪問www.taobao.com時饺饭,DNS服務(wù)器會使用輪詢策略或其他策略渤早,來選擇某個IP供用戶訪問。此方式能實(shí)現(xiàn)機(jī)房間的負(fù)載均衡

至此瘫俊,系統(tǒng)可做到機(jī)房級別的水平擴(kuò)展鹊杖,千萬級到億級的并發(fā)量都可通過增加機(jī)房來解決,系統(tǒng)入口處的請求并發(fā)量不再是問題扛芽。

架構(gòu)瓶頸:隨著數(shù)據(jù)的豐富程度和業(yè)務(wù)的發(fā)展骂蓖,檢索、分析等需求越來越豐富川尖,單單依靠數(shù)據(jù)庫無法解決如此豐富的需求登下。

3.10 第九次演進(jìn):引入NoSQL數(shù)據(jù)庫和搜索引擎等技術(shù)

image

當(dāng)數(shù)據(jù)庫中的數(shù)據(jù)多到一定規(guī)模時,數(shù)據(jù)庫就不適用于復(fù)雜的查詢了叮喳,往往只能滿足普通查詢的場景被芳。

對于統(tǒng)計報表場景,在數(shù)據(jù)量大時不一定能跑出結(jié)果馍悟,而且在跑復(fù)雜查詢時會導(dǎo)致其他查詢變慢

對于全文檢索畔濒、可變數(shù)據(jù)結(jié)構(gòu)等場景,數(shù)據(jù)庫天生不適用锣咒。因此需要針對特定的場景侵状,引入合適的解決方案。

如對于海量文件存儲毅整,可通過分布式文件系統(tǒng)HDFS解決趣兄,對于key value類型的數(shù)據(jù),可通過HBase和Redis等方案解決

對于全文檢索場景悼嫉,可通過搜索引擎如ElasticSearch解決艇潭,對于多維分析場景,可通過Kylin或Druid等方案解決。

當(dāng)然暴区,引入更多組件同時會提高系統(tǒng)的復(fù)雜度,不同的組件保存的數(shù)據(jù)需要同步辛臊,需要考慮一致性的問題仙粱,需要有更多的運(yùn)維手段來管理這些組件等。

架構(gòu)瓶頸:引入更多組件解決了豐富的需求彻舰,業(yè)務(wù)維度能夠極大擴(kuò)充伐割,隨之而來的是一個應(yīng)用中包含了太多的業(yè)務(wù)代碼,業(yè)務(wù)的升級迭代變得困難刃唤。

3.11 第十次演進(jìn):大應(yīng)用拆分為小應(yīng)用

image

按照業(yè)務(wù)板塊來劃分應(yīng)用代碼隔心,使單個應(yīng)用的職責(zé)更清晰,相互之間可以做到獨(dú)立升級迭代尚胞。這時候應(yīng)用之間可能會涉及到一些公共配置硬霍,可以通過分布式配置中心Zookeeper來解決。

架構(gòu)瓶頸:不同應(yīng)用之間存在共用的模塊笼裳,由應(yīng)用單獨(dú)管理會導(dǎo)致相同代碼存在多份唯卖,導(dǎo)致公共功能升級時全部應(yīng)用代碼都要跟著升級。

3.12 第十一次演進(jìn):復(fù)用的功能抽離成微服務(wù)

image

如用戶管理躬柬、訂單拜轨、支付、鑒權(quán)等功能在多個應(yīng)用中都存在允青,那么可以把這些功能的代碼單獨(dú)抽取出來形成一個單獨(dú)的服務(wù)來管理

這樣的服務(wù)就是所謂的微服務(wù)橄碾,應(yīng)用和服務(wù)之間通過HTTP、TCP或RPC請求等多種方式來訪問公共服務(wù)颠锉,每個單獨(dú)的服務(wù)都可以由單獨(dú)的團(tuán)隊來管理法牲。

此外,可以通過Dubbo木柬、SpringCloud等框架實(shí)現(xiàn)服務(wù)治理皆串、限流、熔斷眉枕、降級等功能恶复,提高服務(wù)的穩(wěn)定性和可用性。

架構(gòu)瓶頸:不同服務(wù)的接口訪問方式不同速挑,應(yīng)用代碼需要適配多種訪問方式才能使用服務(wù)谤牡,此外,應(yīng)用訪問服務(wù)姥宝,服務(wù)之間也可能相互訪問翅萤,調(diào)用鏈將會變得非常復(fù)雜,邏輯變得混亂腊满。

3.13 第十二次演進(jìn):引入企業(yè)服務(wù)總線ESB屏蔽服務(wù)接口的訪問差異

image

通過ESB統(tǒng)一進(jìn)行訪問協(xié)議轉(zhuǎn)換套么,應(yīng)用統(tǒng)一通過ESB來訪問后端服務(wù)培己,服務(wù)與服務(wù)之間也通過ESB來相互調(diào)用,以此降低系統(tǒng)的耦合程度胚泌。

這種單個應(yīng)用拆分為多個應(yīng)用省咨,公共服務(wù)單獨(dú)抽取出來來管理,并使用企業(yè)消息總線來解除服務(wù)之間耦合問題的架構(gòu)玷室,就是所謂的SOA(面向服務(wù))架構(gòu)零蓉,這種架構(gòu)與微服務(wù)架構(gòu)容易混淆,因?yàn)楸憩F(xiàn)形式十分相似穷缤。

個人理解敌蜂,微服務(wù)架構(gòu)更多是指把系統(tǒng)里的公共服務(wù)抽取出來單獨(dú)運(yùn)維管理的思想,而SOA架構(gòu)則是指一種拆分服務(wù)并使服務(wù)接口訪問變得統(tǒng)一的架構(gòu)思想津肛,SOA架構(gòu)中包含了微服務(wù)的思想章喉。

架構(gòu)瓶頸:業(yè)務(wù)不斷發(fā)展,應(yīng)用和服務(wù)都會不斷變多快耿,應(yīng)用和服務(wù)的部署變得復(fù)雜囊陡,同一臺服務(wù)器上部署多個服務(wù)還要解決運(yùn)行環(huán)境沖突的問題

此外,對于如大促這類需要動態(tài)擴(kuò)縮容的場景掀亥,需要水平擴(kuò)展服務(wù)的性能撞反,就需要在新增的服務(wù)上準(zhǔn)備運(yùn)行環(huán)境,部署服務(wù)等搪花,運(yùn)維將變得十分困難遏片。

3.14 第十三次演進(jìn):引入容器化技術(shù)實(shí)現(xiàn)運(yùn)行環(huán)境隔離與動態(tài)服務(wù)管理

image

目前最流行的容器化技術(shù)是Docker,最流行的容器管理服務(wù)是Kubernetes(K8S)撮竿,應(yīng)用/服務(wù)可以打包為Docker鏡像吮便,通過K8S來動態(tài)分發(fā)和部署鏡像。

Docker鏡像可理解為一個能運(yùn)行你的應(yīng)用/服務(wù)的最小的操作系統(tǒng)幢踏,里面放著應(yīng)用/服務(wù)的運(yùn)行代碼髓需,運(yùn)行環(huán)境根據(jù)實(shí)際的需要設(shè)置好。

把整個“操作系統(tǒng)”打包為一個鏡像后房蝉,就可以分發(fā)到需要部署相關(guān)服務(wù)的機(jī)器上僚匆,直接啟動Docker鏡像就可以把服務(wù)起起來,使服務(wù)的部署和運(yùn)維變得簡單搭幻。

在大促的之前咧擂,可以在現(xiàn)有的機(jī)器集群上劃分出服務(wù)器來啟動Docker鏡像,增強(qiáng)服務(wù)的性能

大促過后就可以關(guān)閉鏡像檀蹋,對機(jī)器上的其他服務(wù)不造成影響(在第18節(jié)之前松申,服務(wù)運(yùn)行在新增機(jī)器上需要修改系統(tǒng)配置來適配服務(wù),這會導(dǎo)致機(jī)器上其他服務(wù)需要的運(yùn)行環(huán)境被破壞)。

架構(gòu)瓶頸:使用容器化技術(shù)后服務(wù)動態(tài)擴(kuò)縮容問題得以解決贸桶,但是機(jī)器還是需要公司自身來管理舅逸,在非大促的時候,還是需要閑置著大量的機(jī)器資源來應(yīng)對大促皇筛,機(jī)器自身成本和運(yùn)維成本都極高堡赔,資源利用率低。

3.15 第十四次演進(jìn):以云平臺承載系統(tǒng)

image

系統(tǒng)可部署到公有云上设联,利用公有云的海量機(jī)器資源,解決動態(tài)硬件資源的問題

在大促的時間段里灼捂,在云平臺中臨時申請更多的資源离例,結(jié)合Docker和K8S來快速部署服務(wù),在大促結(jié)束后釋放資源悉稠,真正做到按需付費(fèi)宫蛆,資源利用率大大提高,同時大大降低了運(yùn)維成本的猛。

所謂的云平臺耀盗,就是把海量機(jī)器資源,通過統(tǒng)一的資源管理卦尊,抽象為一個資源整體

在云平臺上可按需動態(tài)申請硬件資源(如CPU叛拷、內(nèi)存、網(wǎng)絡(luò)等)岂却,并且之上提供通用的操作系統(tǒng)忿薇,提供常用的技術(shù)組件(如Hadoop技術(shù)棧,MPP數(shù)據(jù)庫等)供用戶使用躏哩,甚至提供開發(fā)好的應(yīng)用

用戶不需要關(guān)心應(yīng)用內(nèi)部使用了什么技術(shù)署浩,就能夠解決需求(如音視頻轉(zhuǎn)碼服務(wù)、郵件服務(wù)扫尺、個人博客等)筋栋。

在云平臺中會涉及如下幾個概念:

  1. IaaS:基礎(chǔ)設(shè)施即服務(wù)。對應(yīng)于上面所說的機(jī)器資源統(tǒng)一為資源整體正驻,可動態(tài)申請硬件資源的層面弊攘;

  2. PaaS:平臺即服務(wù)。對應(yīng)于上面所說的提供常用的技術(shù)組件方便系統(tǒng)的開發(fā)和維護(hù)拨拓;

  3. SaaS:軟件即服務(wù)肴颊。對應(yīng)于上面所說的提供開發(fā)好的應(yīng)用或服務(wù),按功能或性能要求付費(fèi)渣磷。

至此:以上所提到的從高并發(fā)訪問問題婿着,到服務(wù)的架構(gòu)和系統(tǒng)實(shí)施的層面都有了各自的解決方案。

但同時也應(yīng)該意識到,在上面的介紹中竟宋,其實(shí)是有意忽略了諸如跨機(jī)房數(shù)據(jù)同步提完、分布式事務(wù)實(shí)現(xiàn)等等的實(shí)際問題,這些問題以后有機(jī)會再拿出來單獨(dú)討論丘侠。

4徒欣、架構(gòu)設(shè)計總結(jié)

1)架構(gòu)的調(diào)整是否必須按照上述演變路徑進(jìn)行?

不是的蜗字,以上所說的架構(gòu)演變順序只是針對某個側(cè)面進(jìn)行單獨(dú)的改進(jìn)

在實(shí)際場景中打肝,可能同一時間會有幾個問題需要解決,或者可能先達(dá)到瓶頸的是另外的方面挪捕,這時候就應(yīng)該按照實(shí)際問題實(shí)際解決粗梭。

如在政府類的并發(fā)量可能不大,但業(yè)務(wù)可能很豐富的場景级零,高并發(fā)就不是重點(diǎn)解決的問題断医,此時優(yōu)先需要的可能會是豐富需求的解決方案。

2)對于將要實(shí)施的系統(tǒng)奏纪,架構(gòu)應(yīng)該設(shè)計到什么程度鉴嗤?

對于單次實(shí)施并且性能指標(biāo)明確的系統(tǒng),架構(gòu)設(shè)計到能夠支持系統(tǒng)的性能指標(biāo)要求就足夠了序调,但要留有擴(kuò)展架構(gòu)的接口以便不備之需醉锅。

對于不斷發(fā)展的系統(tǒng),如電商平臺发绢,應(yīng)設(shè)計到能滿足下一階段用戶量和性能指標(biāo)要求的程度荣挨,并根據(jù)業(yè)務(wù)的增長不斷的迭代升級架構(gòu),以支持更高的并發(fā)和更豐富的業(yè)務(wù)朴摊。

3)服務(wù)端架構(gòu)和大數(shù)據(jù)架構(gòu)有什么區(qū)別默垄?

所謂的“大數(shù)據(jù)”其實(shí)是海量數(shù)據(jù)采集清洗轉(zhuǎn)換、數(shù)據(jù)存儲甚纲、數(shù)據(jù)分析口锭、數(shù)據(jù)服務(wù)等場景解決方案的一個統(tǒng)稱,在每一個場景都包含了多種可選的技術(shù)

如數(shù)據(jù)采集有Flume介杆、Sqoop鹃操、Kettle等,數(shù)據(jù)存儲有分布式文件系統(tǒng)HDFS春哨、FastDFS荆隘,NoSQL數(shù)據(jù)庫HBase、MongoDB等赴背,數(shù)據(jù)分析有Spark技術(shù)棧椰拒、機(jī)器學(xué)習(xí)算法等晶渠。

總的來說大數(shù)據(jù)架構(gòu)就是根據(jù)業(yè)務(wù)的需求,整合各種大數(shù)據(jù)組件組合而成的架構(gòu)燃观,一般會提供分布式存儲褒脯、分布式計算、多維分析缆毁、數(shù)據(jù)倉庫番川、機(jī)器學(xué)習(xí)算法等能力。

而服務(wù)端架構(gòu)更多指的是應(yīng)用組織層面的架構(gòu)脊框,底層能力往往是由大數(shù)據(jù)架構(gòu)來提供颁督。

4)有沒有一些架構(gòu)設(shè)計的原則?

  • N+1設(shè)計:系統(tǒng)中的每個組件都應(yīng)做到?jīng)]有單點(diǎn)故障浇雹;

  • 回滾設(shè)計:確保系統(tǒng)可以向前兼容适篙,在系統(tǒng)升級時應(yīng)能有辦法回滾版本;

  • 禁用設(shè)計:應(yīng)該提供控制具體功能是否可用的配置箫爷,在系統(tǒng)出現(xiàn)故障時能夠快速下線功能;

  • 監(jiān)控設(shè)計:在設(shè)計階段就要考慮監(jiān)控的手段聂儒;

  • 多活數(shù)據(jù)中心設(shè)計:若系統(tǒng)需要極高的高可用虎锚,應(yīng)考慮在多地實(shí)施數(shù)據(jù)中心進(jìn)行多活,至少在一個機(jī)房斷電的情況下系統(tǒng)依然可用衩婚;

  • 采用成熟的技術(shù):剛開發(fā)的或開源的技術(shù)往往存在很多隱藏的bug窜护,出了問題沒有商業(yè)支持可能會是一個災(zāi)難;

  • 資源隔離設(shè)計:應(yīng)避免單一業(yè)務(wù)占用全部資源非春;

  • 架構(gòu)應(yīng)能水平擴(kuò)展:系統(tǒng)只有做到能水平擴(kuò)展柱徙,才能有效避免瓶頸問題;

  • 非核心則購買:非核心功能若需要占用大量的研發(fā)資源才能解決奇昙,則考慮購買成熟的產(chǎn)品护侮;

  • 使用商用硬件:商用硬件能有效降低硬件故障的機(jī)率;

  • 快速迭代:系統(tǒng)應(yīng)該快速開發(fā)小功能模塊储耐,盡快上線進(jìn)行驗(yàn)證羊初,早日發(fā)現(xiàn)問題大大降低系統(tǒng)交付的風(fēng)險;

  • 無狀態(tài)設(shè)計:服務(wù)接口應(yīng)該做成無狀態(tài)的什湘,當(dāng)前接口的訪問不依賴于接口上次訪問的狀態(tài)长赞。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市闽撤,隨后出現(xiàn)的幾起案子得哆,更是在濱河造成了極大的恐慌,老刑警劉巖哟旗,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件贩据,死亡現(xiàn)場離奇詭異栋操,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)乐设,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進(jìn)店門讼庇,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人近尚,你說我怎么就攤上這事蠕啄。” “怎么了戈锻?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵歼跟,是天一觀的道長。 經(jīng)常有香客問我格遭,道長哈街,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任拒迅,我火速辦了婚禮骚秦,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘璧微。我一直安慰自己作箍,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布前硫。 她就那樣靜靜地躺著胞得,像睡著了一般。 火紅的嫁衣襯著肌膚如雪屹电。 梳的紋絲不亂的頭發(fā)上阶剑,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天,我揣著相機(jī)與錄音危号,去河邊找鬼牧愁。 笑死,一個胖子當(dāng)著我的面吹牛外莲,可吹牛的內(nèi)容都是我干的递宅。 我是一名探鬼主播,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼苍狰,長吁一口氣:“原來是場噩夢啊……” “哼办龄!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起淋昭,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤俐填,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后翔忽,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體英融,經(jīng)...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡盏檐,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了驶悟。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片胡野。...
    茶點(diǎn)故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖痕鳍,靈堂內(nèi)的尸體忽然破棺而出硫豆,到底是詐尸還是另有隱情,我是刑警寧澤笼呆,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布熊响,位于F島的核電站,受9級特大地震影響诗赌,放射性物質(zhì)發(fā)生泄漏汗茄。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一铭若、第九天 我趴在偏房一處隱蔽的房頂上張望洪碳。 院中可真熱鬧,春花似錦叼屠、人聲如沸瞳腌。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至憎兽,卻和暖如春冷离,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背纯命。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工西剥, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人亿汞。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓瞭空,卻偏偏與公主長得像,于是被迫代替她去往敵國和親疗我。 傳聞我的和親對象是個殘疾皇子咆畏,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,916評論 2 344