程序員分布式架構(gòu)演進(jìn)過程

一宙址、基本概念

在介紹架構(gòu)之前,為了避免部分讀者對(duì)架構(gòu)設(shè)計(jì)中的一些概念不了解调卑,下面對(duì)幾個(gè)最基礎(chǔ)的概念進(jìn)行介紹:

1 :分布式

系統(tǒng)中的多個(gè)模塊在不同的服務(wù)器上部署抡砂,即可稱為分布式系統(tǒng),如Tomcat和數(shù)據(jù)庫分別部署在不同的服務(wù)器上恬涧,或兩個(gè)相同功能的Tomcat

分別部署在不同的服務(wù)器上舀患。

2 :高可用

系統(tǒng)中部分節(jié)點(diǎn)失效時(shí),其他節(jié)點(diǎn)能夠接替它繼續(xù)提供服務(wù)气破,則可認(rèn)為系統(tǒng)具有高可用性聊浅。

3 :集群

一個(gè)特定領(lǐng)域的軟件部署在多臺(tái)服務(wù)器上并作為一個(gè)整體提供一類服務(wù),這個(gè)整體稱為集群。如Zookeeper中的Master和Slave分別部署在多臺(tái)服務(wù)? 器上低匙,共同組成一個(gè)整體提供集中配置服務(wù)旷痕。在常見的集群中,客戶端往往能夠連接任意一個(gè)節(jié)點(diǎn)獲得服務(wù)顽冶,并且當(dāng)集群中一個(gè)節(jié)點(diǎn)掉線時(shí)欺抗,其他節(jié)點(diǎn) 往往能夠自動(dòng)的接替它繼續(xù)提供服務(wù),這時(shí)候說明集群具有高可用性强重。

4 :負(fù)載均衡

請(qǐng)求發(fā)送到系統(tǒng)時(shí)绞呈,通過這些方式把請(qǐng)求均勻分發(fā)到多個(gè)節(jié)點(diǎn)上,使系統(tǒng)中每個(gè)節(jié)點(diǎn)能夠均勻的處理請(qǐng)求負(fù)載间景,則可認(rèn)為系統(tǒng)是負(fù)載均衡的灼捂。

5 :正向代理和反向代理

系統(tǒng)內(nèi)部要訪問外部網(wǎng)絡(luò)時(shí)布近,統(tǒng)一通過一個(gè)代理服務(wù)器把請(qǐng)求轉(zhuǎn)發(fā)出去,在外部網(wǎng)絡(luò)看來就是代理服務(wù)器發(fā)起的訪問,此時(shí)代理服務(wù)器實(shí)現(xiàn)的是正向代理叛拷;當(dāng)外部請(qǐng)求進(jìn)入系統(tǒng)時(shí)祭饭,代理服務(wù)器把該請(qǐng)求轉(zhuǎn)發(fā)到系統(tǒng)中的某臺(tái)服務(wù)器上复唤,對(duì)外部請(qǐng)求來說硫狞,與之交互的只有代理服務(wù)器,此時(shí)代理服務(wù)器

實(shí)現(xiàn)的是反向代理泽西。簡(jiǎn)單來說曹铃,正向代理是代理服務(wù)器代替系統(tǒng)內(nèi)部來訪問外部網(wǎng)絡(luò)的過程,反向代理是外部請(qǐng)求訪問系統(tǒng)時(shí)通過代理服務(wù)器轉(zhuǎn)發(fā)到內(nèi)部服務(wù)器的過程捧杉。

二陕见、架構(gòu)演進(jìn)

2.1 單機(jī)架構(gòu)

以淘寶作為例子。在網(wǎng)站最初時(shí)糠溜,應(yīng)用數(shù)量與用戶數(shù)都較少淳玩,可以把Tomcat和數(shù)據(jù)庫部署在同一臺(tái)服務(wù)器上。瀏覽器往

www.taobao.com發(fā)起請(qǐng)求時(shí)非竿,首先經(jīng)過DNS服務(wù)器(域名系統(tǒng))把域名轉(zhuǎn)換為實(shí)際IP地址10.102.4.1,瀏覽器轉(zhuǎn)而訪問該

IP對(duì)應(yīng)的Tomcat蜕着。

隨著用戶數(shù)的增長(zhǎng),Tomcat和數(shù)據(jù)庫之間競(jìng)爭(zhēng)資源红柱,單機(jī)性能不足以支撐業(yè)務(wù)承匣。

2.2 第一次演進(jìn) :Tomcat與數(shù)據(jù)庫分開部署

Tomcat和數(shù)據(jù)庫分別獨(dú)占服務(wù)器資源,顯著提高兩者各自性能锤悄。

隨著用戶數(shù)的增長(zhǎng)韧骗,并發(fā)讀寫數(shù)據(jù)庫稱為瓶頸

2.3 第二次演進(jìn) :引入本地緩存和分布式緩存

在Tomcat同服務(wù)器上或同JVM中增加本地緩存,并在外部增加分布式緩存零聚,緩存熱門商品信息或熱門商品的html頁面等袍暴。通

過緩存能把絕大多數(shù)請(qǐng)求在讀寫數(shù)據(jù)庫前攔截掉些侍,大大降低數(shù)據(jù)庫壓力。其中涉及的技術(shù)包括 :使用memcached作為本地緩

存政模,使用Redis作為分布式緩存岗宣,還會(huì)涉及緩存一致性、緩存穿透/擊穿淋样、緩存雪崩耗式、熱點(diǎn)數(shù)據(jù)集中失效等問題。

緩存抗住了大部分的訪問請(qǐng)求趁猴,隨著用戶數(shù)的增長(zhǎng)刊咳,并發(fā)壓力主要落在單機(jī)的Tomcat上,響應(yīng)逐漸變慢

2.4 第三次演進(jìn) :引入反向代理實(shí)現(xiàn)負(fù)載均衡

在多臺(tái)服務(wù)器上分別部署Tomcat儡司,使用反向代理軟件(Nginx)把請(qǐng)求均勻分發(fā)到每個(gè)Tomcat中娱挨。此處假設(shè)Tomcat最多

支持100個(gè)并發(fā),Nginx最多支持50000個(gè)并發(fā)枫慷,那么理論上Nginx把請(qǐng)求分發(fā)到500個(gè)Tomcat上让蕾,就能抗住50000個(gè)并發(fā)浪规。

其中涉及的技術(shù)包括 :Nginx或听、HAProxy,兩者都是工作在網(wǎng)絡(luò)第七層的反向代理軟件笋婿,主要支持http協(xié)議誉裆,還會(huì)涉及session

共享、文件上傳下載的問題缸濒。

反向代理使得應(yīng)用服務(wù)器可支持的并發(fā)量大大增加足丢,但并發(fā)量的增長(zhǎng)也意味著更多請(qǐng)求穿透到數(shù)據(jù)庫,單機(jī)的數(shù)據(jù)庫最終

成為瓶頸庇配。

2.5 第四次演進(jìn) :數(shù)據(jù)庫讀寫分離

把數(shù)據(jù)庫劃分為讀庫和寫庫斩跌,讀庫可以有多個(gè),通過同步機(jī)制把寫庫的數(shù)據(jù)同步到讀庫捞慌,對(duì)于需要查詢最新寫入數(shù)據(jù)場(chǎng)景耀鸦,可

通過在緩存中多寫一份,通過緩存獲得最新數(shù)據(jù)啸澡。其中涉及的技術(shù)包括:Mycat袖订,它是數(shù)據(jù)庫中間件,可通過它來組織數(shù)據(jù)庫

的分離讀寫和分庫分表嗅虏,客戶端通過它來訪問下層數(shù)據(jù)庫洛姑,還會(huì)涉及數(shù)據(jù)同步,數(shù)據(jù)一致性的問題皮服。

業(yè)務(wù)逐漸變多楞艾,不同業(yè)務(wù)之間的訪問量差距較大参咙,不同業(yè)務(wù)直接競(jìng)爭(zhēng)數(shù)據(jù)庫,相互影響性能硫眯。

2.6 第五次演進(jìn) :數(shù)據(jù)庫按業(yè)務(wù)分庫

把不同業(yè)務(wù)的數(shù)據(jù)保存到不同的數(shù)據(jù)庫中昂勒,使業(yè)務(wù)之間的資源競(jìng)爭(zhēng)降低,對(duì)于訪問量大的業(yè)務(wù)舟铜,可以部署更多的服務(wù)器來

支持戈盈。這樣同時(shí)導(dǎo)致業(yè)務(wù)的表無法直接做關(guān)聯(lián)分析,需要通過其他途徑來解決谆刨。

隨著用戶數(shù)的增長(zhǎng)塘娶,單機(jī)的寫庫會(huì)逐漸會(huì)達(dá)到性能瓶頸。

2.7 第六次演進(jìn) :把大表拆分為小表

比如針對(duì)評(píng)論數(shù)據(jù)痊夭,可按照商品ID進(jìn)行hash刁岸,路由到對(duì)應(yīng)的表中存儲(chǔ);針對(duì)支付記錄她我,可按照小時(shí)創(chuàng)建表虹曙,每個(gè)小時(shí)表繼續(xù)

拆分為小表,使用用戶ID或記錄編號(hào)來路由數(shù)據(jù)番舆。只要實(shí)時(shí)操作的表數(shù)據(jù)量足夠小酝碳,請(qǐng)求能夠足夠均勻的分發(fā)到多臺(tái)服務(wù)器

上的小表,那數(shù)據(jù)庫就能通過水平擴(kuò)展的方式來提高性能恨狈。其中前面提到的MyCat也支持在大表拆分為小表情況下的訪問

控制疏哗。

這種做法顯著的增加了數(shù)據(jù)庫運(yùn)維的難度,對(duì)DBA的要求較高禾怠。數(shù)據(jù)庫設(shè)計(jì)到這種結(jié)構(gòu)時(shí)返奉,已經(jīng)可以稱為分布式數(shù)據(jù)庫,但

是這只是一個(gè)邏輯的數(shù)據(jù)庫整體吗氏,數(shù)據(jù)庫里不同的組成部分是由不同的組件單獨(dú)來實(shí)現(xiàn)的芽偏,如分庫分表的管理和請(qǐng)求分發(fā),

由Mycat實(shí)現(xiàn)弦讽,SQL的解析由單機(jī)的數(shù)據(jù)庫實(shí)現(xiàn)污尉,讀寫分離可能由網(wǎng)關(guān)和消息隊(duì)列來實(shí)現(xiàn),查詢結(jié)構(gòu)的匯總可能由數(shù)據(jù)庫接口

層來實(shí)現(xiàn)等等坦袍,這種架構(gòu)其實(shí)是MPP(大規(guī)模并行處理)架構(gòu)的一類實(shí)現(xiàn)十厢。

目前開源和商用的已經(jīng)有不少M(fèi)PP數(shù)據(jù)庫,開源中比較流行的有Greenplum捂齐、TiDB蛮放、Postgresql XC、HAWQ等奠宜,商用的如

南大通用的GBase包颁、睿帆科技的雪球DB瞻想、華為的LibrA等等,不同的MPP數(shù)據(jù)庫的側(cè)重點(diǎn)也不一樣娩嚼,如TiDB更側(cè)重于分布式

OLTP場(chǎng)景蘑险,Greenplum更側(cè)重于分布式OLAP場(chǎng)景,這些MPP數(shù)據(jù)庫基本都提供了類似Postgresql岳悟、Oracle佃迄、MySQL那樣

的SQL標(biāo)準(zhǔn)支持能力,能把一個(gè)查詢解析為分布式的執(zhí)行計(jì)劃分發(fā)到每臺(tái)機(jī)器上并行執(zhí)行贵少,最終由數(shù)據(jù)庫本身匯總數(shù)據(jù)進(jìn)行

返回呵俏,也提供了諸如權(quán)限管理、分庫分表滔灶、事物普碎、數(shù)據(jù)副本等能力,并且大多能夠支持100個(gè)節(jié)點(diǎn)以上的集群录平,大大降低了

數(shù)據(jù)庫運(yùn)維的成本麻车,并且使數(shù)據(jù)庫也能夠?qū)崿F(xiàn)水平擴(kuò)展。

數(shù)據(jù)庫和Tomcat都能夠水平擴(kuò)展斗这,可支撐的并發(fā)大幅提高动猬,隨著用戶數(shù)的增長(zhǎng),最終單機(jī)的Nginx會(huì)成為瓶頸涝影。

2.8 第七次演進(jìn) :使用LVS或F5來使多個(gè)Nginx負(fù)載均衡

由于瓶頸在Nginx,因此無法通過兩層的Nginx來實(shí)現(xiàn)多個(gè)Nginx的負(fù)載均衡枣察。圖中的LVS和F5是工作在網(wǎng)絡(luò)第四層的負(fù)載均

衡解決方案争占,其中LVS是軟件燃逻,運(yùn)行在操作系統(tǒng)內(nèi)核態(tài),可對(duì)TCP請(qǐng)求或更高層級(jí)的網(wǎng)絡(luò)協(xié)議進(jìn)行轉(zhuǎn)發(fā)臂痕,因此支持的協(xié)議

更豐富伯襟,并且性能也遠(yuǎn)高于Nginx,可假設(shè)單機(jī)的LVS可支持幾十萬個(gè)并發(fā)的請(qǐng)求轉(zhuǎn)發(fā)握童;F5是一種負(fù)載均衡硬件姆怪,與LVS提

供的能力類似,性能比LVS更高澡绩,但價(jià)格昂貴稽揭。由于LVS是單機(jī)版的軟件,若LVS所在服務(wù)器宕機(jī)則會(huì)導(dǎo)致整個(gè)后端系統(tǒng)都

無法訪問肥卡,因此需要有備用節(jié)點(diǎn)溪掀。可使用keepalived軟件模擬出虛擬IP步鉴,然后把虛擬IP綁定到多臺(tái)LVS服務(wù)器上揪胃,瀏覽器

訪問虛擬IP時(shí)璃哟,會(huì)被路由器重定向到真實(shí)的LVS服務(wù)器,當(dāng)主LVS服務(wù)器宕機(jī)時(shí)喊递,keepalived軟件會(huì)自動(dòng)更新路由器中的

路由表随闪,把虛擬IP重定向到另外一臺(tái)正常的LVS服務(wù)器,從而達(dá)到LVS服務(wù)器高可用的效果骚勘。

此處需要注意的是铐伴,上圖中從Nginx層到Tomcat層這樣畫并不代表全部Nginx都轉(zhuǎn)發(fā)請(qǐng)求到全部的Tomcat,在實(shí)際使用時(shí)俏讹,

可能會(huì)是幾個(gè)Nginx下面接一部分的Tomcat盛杰,這些Nginx之間通過keepalived實(shí)現(xiàn)高可用,其他的Nginx接另外的Tomcat,

這樣可接入的Tomcat數(shù)量就能成倍的增加藐石。

由于LVS也是單機(jī)的即供,隨著并發(fā)數(shù)增長(zhǎng)到幾十萬時(shí),LVS服務(wù)器最終會(huì)達(dá)到瓶頸于微,此時(shí)用戶數(shù)達(dá)到千萬甚至上億級(jí)別逗嫡,

用戶分布在不同的地區(qū),與服務(wù)器機(jī)房距離不同株依,導(dǎo)致了訪問的延遲會(huì)明顯不同驱证。

2.9 第八次演進(jìn) :通過DNS輪詢實(shí)現(xiàn)機(jī)房間的負(fù)載均衡

在DNS服務(wù)器中可配置一個(gè)域名對(duì)應(yīng)多個(gè)IP地址,每個(gè)IP地址對(duì)應(yīng)到不同的機(jī)房里的虛擬IP恋腕。?當(dāng)用戶訪問www.taobao.com

時(shí)抹锄,DNS服務(wù)器會(huì)使用輪詢策略或其他策略,來選擇每個(gè)IP供用戶訪問荠藤。此方式能實(shí)現(xiàn)機(jī)房間的負(fù)載均衡伙单,至此,系統(tǒng)可

做到機(jī)房級(jí)別的水平擴(kuò)展哈肖,千萬級(jí)到億級(jí)的并發(fā)量都可通過增加機(jī)房來解決吻育,系統(tǒng)入口處的請(qǐng)求并發(fā)量不再是問題。

隨著數(shù)據(jù)的豐富程度和業(yè)務(wù)的發(fā)展淤井,檢索布疼、分析等需求越來越豐富,單單依靠數(shù)據(jù)庫無法解決如此豐富的需求币狠。

2.10 第九次演進(jìn) :引入NoSQL數(shù)據(jù)庫和搜索引擎等技術(shù)

當(dāng)數(shù)據(jù)庫中的數(shù)據(jù)多到一定規(guī)模時(shí)游两,數(shù)據(jù)庫就不適用于復(fù)雜的查詢了,往往只能滿足普通查詢的場(chǎng)景漩绵。對(duì)于統(tǒng)計(jì)報(bào)表場(chǎng)景贱案,在

數(shù)據(jù)量大時(shí)不一定能跑出結(jié)果,而且在跑復(fù)雜查詢時(shí)會(huì)導(dǎo)致其他查詢變慢渐行,對(duì)于全文檢索轰坊、可變數(shù)據(jù)結(jié)構(gòu)等場(chǎng)景铸董,數(shù)據(jù)庫天

生不適用。因此需要針對(duì)特定的場(chǎng)景肴沫,引入合適的解決方案粟害。如對(duì)于海量文件存儲(chǔ),可通過分布式文件系統(tǒng)HDFS解決颤芬,對(duì)于

key value類型的數(shù)據(jù)悲幅,可通過HBase和Redis等方案解決,對(duì)于全文檢索場(chǎng)景站蝠,可通過搜索引擎如ElasticSearch解決汰具,對(duì)于

多維分析場(chǎng)景,可通過Kylin或Druid等方案解決菱魔。

當(dāng)然留荔,引入更多組件同時(shí)會(huì)提高系統(tǒng)的復(fù)雜度,不同的組件保存的數(shù)據(jù)需要同步澜倦,需要考慮一致性的問題聚蝶,需要有更多的運(yùn)維手段來管理這些組件等。

引入更多組件解決了豐富的需求藻治,業(yè)務(wù)維度能夠極大擴(kuò)充碘勉,隨之而來的是一個(gè)應(yīng)用中包含了太多的業(yè)務(wù)代碼,業(yè)務(wù)的升級(jí)

迭代變得困難桩卵。

2.11 第十次演進(jìn) :大應(yīng)用拆分為小應(yīng)用

按照業(yè)務(wù)板塊來劃分應(yīng)用代碼验靡,使單個(gè)應(yīng)用的職責(zé)更清晰,相互之間可以做到獨(dú)立升級(jí)迭代雏节。這時(shí)候應(yīng)用之間可能會(huì)涉及到

一些公共配置胜嗓,可以通過分布式配置中心Zookeeper來解決。

不同應(yīng)用之間存在共用的模塊矾屯,由應(yīng)用單獨(dú)管理會(huì)導(dǎo)致相同代碼存在多份兼蕊,導(dǎo)致公共功能升級(jí)時(shí)全部應(yīng)用代碼都要跟著升級(jí)

2.12 第十一次演進(jìn) :復(fù)用的功能抽離成微服務(wù)

如用戶管理件蚕、訂單、支付产禾、鑒權(quán)等功能在多個(gè)應(yīng)用中都存在排作,那么可以把這些功能的代碼單獨(dú)抽取出來形成一個(gè)單獨(dú)的服務(wù)

來管理,這樣的服務(wù)就是所謂的微服務(wù)亚情,應(yīng)用和服務(wù)之間通過HTTP妄痪、TCP或RPC請(qǐng)求等多種方式來訪問公共服務(wù),每個(gè)單獨(dú)服務(wù)都可以由單獨(dú)的團(tuán)隊(duì)來管理楞件。此外衫生,可以通過Dubbo裳瘪、SpringCloud等框架實(shí)現(xiàn)服務(wù)治理、限流罪针、熔斷彭羹、降級(jí)等功能,提高

服務(wù)的穩(wěn)定性和可用性泪酱。

不同服務(wù)的接口訪問方式不同派殷,應(yīng)用代碼需要適配多種訪問方式才能使用服務(wù),此外墓阀,應(yīng)用訪問服務(wù)毡惜,服務(wù)之間也可能相互

訪問,調(diào)用鏈將會(huì)變得非常復(fù)雜斯撮,邏輯變得混亂经伙。

2.13 第十二次演進(jìn) :引入企業(yè)服務(wù)總線ESB屏蔽服務(wù)接口的訪問差異

通過ESB統(tǒng)一進(jìn)行訪問協(xié)議轉(zhuǎn)換,應(yīng)用統(tǒng)一通過ESB來訪問后端服務(wù)勿锅,服務(wù)與服務(wù)之間也通過ESB來相互調(diào)用橱乱,以此降低系統(tǒng)

的耦合程度。這種單個(gè)應(yīng)用拆分為多個(gè)應(yīng)用粱甫,公共服務(wù)單獨(dú)抽取出來來管理泳叠,并使用企業(yè)消息總線來解除服務(wù)之間耦合問題的

架構(gòu),就是所謂的SOA(面向服務(wù))架構(gòu)茶宵,這種架構(gòu)與微服務(wù)架構(gòu)容易混淆危纫,因?yàn)楸憩F(xiàn)形式十分相似。個(gè)人理解乌庶,微服務(wù)架構(gòu)

更多的是指把系統(tǒng)里的公共服務(wù)抽取出來單獨(dú)運(yùn)維管理的思想种蝶,而SOA架構(gòu)則是指一種拆分服務(wù)并使服務(wù)接口訪問變得統(tǒng)一

的架構(gòu)思想,SOA架構(gòu)中包含了微服務(wù)的思想瞒大。

業(yè)務(wù)不斷發(fā)展螃征,應(yīng)用和服務(wù)都會(huì)不斷變多,應(yīng)用和服務(wù)的部署變得復(fù)雜透敌,同一臺(tái)服務(wù)器上部署多個(gè)服務(wù)還要解決運(yùn)行環(huán)境沖突的問題盯滚,此外,對(duì)于如大促這些需要?jiǎng)討B(tài)擴(kuò)縮容的場(chǎng)景酗电,需要水平擴(kuò)展服務(wù)的性能魄藕,就需要在新增的服務(wù)上準(zhǔn)備運(yùn)行環(huán)境,部署

服務(wù)等撵术,運(yùn)維將變得十分困難背率。

2.14 第十三次演進(jìn) :引入容器化技術(shù)實(shí)現(xiàn)運(yùn)行環(huán)境隔離與動(dòng)態(tài)服務(wù)管理

目前最流行的容器化技術(shù)是Docker,最流行的容器管理服務(wù)是Kubernetes(K8S),應(yīng)用/服務(wù)可以打包為Docker鏡像,通過

K8S來動(dòng)態(tài)分發(fā)和部署鏡像。Docker鏡像可理解為一個(gè)能運(yùn)行你的應(yīng)用/服務(wù)的最小的操作系統(tǒng)寝姿,里面放著應(yīng)用/服務(wù)的

運(yùn)行代碼交排,運(yùn)行環(huán)境根據(jù)實(shí)際的需要設(shè)置好。把整個(gè)“操作系統(tǒng)”打包為一個(gè)鏡像后饵筑,就可以分發(fā)到需要部署相關(guān)服務(wù)的

機(jī)器上埃篓,直接啟動(dòng)Docker鏡像就可以把服務(wù)運(yùn)行起來,使服務(wù)的部署和運(yùn)維變得簡(jiǎn)單翻翩。

在大促的之前都许,可以在現(xiàn)有的機(jī)器集群上劃分出服務(wù)器來啟動(dòng)Docker鏡像,增強(qiáng)服務(wù)的性能嫂冻,大促過后就可以關(guān)閉鏡像胶征,

對(duì)集群上的其他服務(wù)不造成影響(3.14節(jié)之前,服務(wù)運(yùn)行在新增機(jī)器上需要修改系統(tǒng)配置來適配服務(wù)桨仿,這會(huì)導(dǎo)致機(jī)器上

其他服務(wù)需要的運(yùn)行環(huán)境被破壞)

使用容器化技術(shù)后服務(wù)動(dòng)態(tài)擴(kuò)縮容問題得以解決睛低,但是機(jī)器換還是需要公司自身來管理,在非大促的時(shí)候服傍,還是需要閑置

著大量的機(jī)器資源來應(yīng)對(duì)大促钱雷,機(jī)器自身成本和運(yùn)維成本都極高,資源利用率低吹零。

3.15 第十四次演進(jìn) :以云平臺(tái)承載系統(tǒng)

系統(tǒng)可部署到公有云上罩抗,利用公有云的海量機(jī)器資源,解決動(dòng)態(tài)硬件資源的問題灿椅,在大促的時(shí)間段里套蒂,在云平臺(tái)中臨時(shí)申請(qǐng)更

多的資源,結(jié)合Docker和K8S來快速部署服務(wù)茫蛹,在大促結(jié)束后釋放資源操刀,真正做到按需付費(fèi),資源利用率大大提高婴洼,同時(shí)大

大降低了運(yùn)維成本骨坑。

所謂的云平臺(tái),就是把海量機(jī)器資源柬采,通過統(tǒng)一的資源管理欢唾,抽象為一個(gè)資源整體,在之上可按需動(dòng)態(tài)申請(qǐng)硬件資源(如CPU

警没、內(nèi)存匈辱、網(wǎng)絡(luò)等),并且之上提供通用的操作系統(tǒng)杀迹,提供常用的技術(shù)組件(如Hadoop技術(shù)棧,MPP數(shù)據(jù)庫等)供用戶使用

,甚至提供開發(fā)好的應(yīng)用树酪,用戶不需要關(guān)系應(yīng)用內(nèi)部使用了什么技術(shù)浅碾,就能夠解決需求(如音頻轉(zhuǎn)碼服務(wù)、郵件服務(wù)续语、個(gè)人博客等)垂谢。在云平臺(tái)中會(huì)涉及如下幾個(gè)概念 :

1 :IaaS :基礎(chǔ)設(shè)施即服務(wù)。對(duì)應(yīng)于上面所說的機(jī)器資源統(tǒng)一為資源整體疮茄,可動(dòng)態(tài)申請(qǐng)硬件資源的層面滥朱;

2 :PaaS :平臺(tái)即服務(wù)。對(duì)應(yīng)于上面所說的提供常用的技術(shù)組件方便系統(tǒng)的開發(fā)和維護(hù)力试;

3 :SaaS :軟件即服務(wù)徙邻。對(duì)應(yīng)于上面所說的提供開發(fā)好的應(yīng)用或服務(wù),按功能或性能要求付費(fèi)畸裳。

至此缰犁,以上所提到的從高并發(fā)訪問問題,到服務(wù)的架構(gòu)和系統(tǒng)實(shí)施的層面都有了各自的解決方案怖糊,但同時(shí)也應(yīng)該意識(shí)到帅容,在

上面的介紹中,其實(shí)是有意忽略了諸如跨機(jī)房數(shù)據(jù)同步伍伤、分布式事物實(shí)現(xiàn)等等的實(shí)際問題并徘,這些問題以后再單獨(dú)討論。

3. 架構(gòu)設(shè)計(jì)總結(jié)

架構(gòu)的調(diào)整是否必須按照上述演變路徑進(jìn)行扰魂?

不是的麦乞,以上所說的架構(gòu)演進(jìn)順序只是針對(duì)某個(gè)側(cè)面進(jìn)行單獨(dú)的改進(jìn),在實(shí)際場(chǎng)景中阅爽,可能同一時(shí)間會(huì)有幾個(gè)問題需要解決路幸,或者可能

先達(dá)到瓶頸的是另外的方面,這時(shí)候就應(yīng)該按照實(shí)際問題實(shí)際解決付翁。如在政府類的并發(fā)量可能不大简肴,但業(yè)務(wù)可能很豐富的場(chǎng)景,高并發(fā)

就不是重點(diǎn)解決的問題百侧,此時(shí)優(yōu)先需要的可能會(huì)是豐富需求的解決方案砰识。

對(duì)于將要實(shí)施的系統(tǒng),架構(gòu)應(yīng)該設(shè)計(jì)到什么程度佣渴?

對(duì)于單次實(shí)施并且性能指標(biāo)明確的系統(tǒng)辫狼,架構(gòu)設(shè)計(jì)到能夠支持系統(tǒng)的性能指標(biāo)要求就足夠了,但要留有擴(kuò)展架構(gòu)的接口以便不備之需辛润。

對(duì)于不斷發(fā)展的系統(tǒng)膨处,如電商平臺(tái),應(yīng)設(shè)計(jì)到滿足下一階段用戶量和性能指標(biāo)要求的程度,并根據(jù)業(yè)務(wù)的增長(zhǎng)不斷的迭代升級(jí)架構(gòu)真椿,

以支持更高的并發(fā)和更豐富的業(yè)務(wù)鹃答。

服務(wù)端架構(gòu)和大數(shù)據(jù)架構(gòu)有什么區(qū)別?

所謂的“大數(shù)據(jù)”其實(shí)是海量數(shù)據(jù)采集清洗轉(zhuǎn)換突硝、數(shù)據(jù)存儲(chǔ)测摔、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等場(chǎng)景解決方案的一個(gè)統(tǒng)稱解恰,在每一個(gè)場(chǎng)景都包含了

多種可選的技術(shù)锋八,如數(shù)據(jù)采集有Flume、Sqoop护盈、Kettle等挟纱,數(shù)據(jù)存儲(chǔ)有分布式文件系統(tǒng)HDFS、FastDFS黄琼、NoSQL數(shù)據(jù)庫HBase樊销、

MongoDB等,數(shù)據(jù)分析有Spark技術(shù)棧脏款、機(jī)器學(xué)習(xí)算法等围苫。總的來說大數(shù)據(jù)架構(gòu)就是根據(jù)業(yè)務(wù)的需求撤师,整合各種大數(shù)據(jù)組件組合而

成的架構(gòu)剂府,一般會(huì)提供分布式存儲(chǔ)、分布式計(jì)算剃盾、多維分析腺占、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)算法等能力痒谴。而服務(wù)端架構(gòu)更多指的是應(yīng)用組織

層面的架構(gòu)衰伯,底層能力往往是由大數(shù)據(jù)架構(gòu)來提供。

有沒有一些架構(gòu)設(shè)計(jì)的原則积蔚?

1 :N + 1設(shè)計(jì)意鲸。系統(tǒng)中的每個(gè)組件都應(yīng)做到?jīng)]有單點(diǎn)故障橡羞;

2 :回滾設(shè)計(jì)魁瞪。確保系統(tǒng)可以向前兼容,在系統(tǒng)升級(jí)時(shí)應(yīng)能有辦法回滾版本灾梦;

3 :禁用設(shè)計(jì)漱贱。應(yīng)該提供控制具體功能是否可用的配置槐雾,在系統(tǒng)出現(xiàn)故障時(shí)能夠快速下線功能;

4 :監(jiān)控設(shè)計(jì)幅狮。在設(shè)計(jì)階段就要考慮監(jiān)控的手段募强;

5 :多活數(shù)據(jù)中心設(shè)計(jì)株灸。若系統(tǒng)需要極高的高可用,應(yīng)考慮在多地實(shí)施數(shù)據(jù)中心進(jìn)行多活钻注,至少在一個(gè)機(jī)房斷電的情況下系統(tǒng)依然可用蚂且;

6 :采用成熟的技術(shù)配猫。剛開服的或開源的技術(shù)往往存在很多隱藏的bug幅恋,出了問題沒有商業(yè)支持可能會(huì)是一個(gè)災(zāi)難;

7 :資源隔離技術(shù)泵肄。應(yīng)避免單一業(yè)務(wù)占用全部資源捆交;

8 :架構(gòu)應(yīng)能水平擴(kuò)展。系統(tǒng)只有做到能水平擴(kuò)展腐巢,才能有效避免瓶頸問題品追;

9 :非核心則購買。非核心功能若需要占用大量的研發(fā)資源才能解決冯丙,則考慮購買成熟的產(chǎn)品肉瓦;

10 :使用商用硬件。商用硬件能有效降低硬件故障的機(jī)率胃惜;

11 :快速迭代泞莉。系統(tǒng)應(yīng)該快速開發(fā)小功能模塊,盡快上線進(jìn)行驗(yàn)證船殉,早日發(fā)現(xiàn)問題大大降低系統(tǒng)交付的風(fēng)險(xiǎn)鲫趁;

12 :無狀態(tài)設(shè)計(jì)。服務(wù)接口應(yīng)該做成無狀態(tài)的利虫,當(dāng)前接口的訪問不依賴于接口上次訪問的狀態(tài)挨厚。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市糠惫,隨后出現(xiàn)的幾起案子疫剃,更是在濱河造成了極大的恐慌,老刑警劉巖硼讽,帶你破解...
    沈念sama閱讀 212,542評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件巢价,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡理郑,警方通過查閱死者的電腦和手機(jī)蹄溉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,596評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來您炉,“玉大人柒爵,你說我怎么就攤上這事∽簦” “怎么了棉胀?”我有些...
    開封第一講書人閱讀 158,021評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵法瑟,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我唁奢,道長(zhǎng)霎挟,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,682評(píng)論 1 284
  • 正文 為了忘掉前任麻掸,我火速辦了婚禮酥夭,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘脊奋。我一直安慰自己熬北,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,792評(píng)論 6 386
  • 文/花漫 我一把揭開白布诚隙。 她就那樣靜靜地躺著讶隐,像睡著了一般。 火紅的嫁衣襯著肌膚如雪久又。 梳的紋絲不亂的頭發(fā)上巫延,一...
    開封第一講書人閱讀 49,985評(píng)論 1 291
  • 那天,我揣著相機(jī)與錄音地消,去河邊找鬼炉峰。 笑死,一個(gè)胖子當(dāng)著我的面吹牛犯建,可吹牛的內(nèi)容都是我干的讲冠。 我是一名探鬼主播,決...
    沈念sama閱讀 39,107評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼适瓦,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼竿开!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起玻熙,我...
    開封第一講書人閱讀 37,845評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤否彩,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后嗦随,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體列荔,經(jīng)...
    沈念sama閱讀 44,299評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,612評(píng)論 2 327
  • 正文 我和宋清朗相戀三年枚尼,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了贴浙。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,747評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡署恍,死狀恐怖崎溃,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情盯质,我是刑警寧澤袁串,帶...
    沈念sama閱讀 34,441評(píng)論 4 333
  • 正文 年R本政府宣布概而,位于F島的核電站,受9級(jí)特大地震影響囱修,放射性物質(zhì)發(fā)生泄漏赎瑰。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,072評(píng)論 3 317
  • 文/蒙蒙 一破镰、第九天 我趴在偏房一處隱蔽的房頂上張望餐曼。 院中可真熱鬧,春花似錦啤咽、人聲如沸晋辆。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,828評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至芋膘,卻和暖如春鳞青,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背为朋。 一陣腳步聲響...
    開封第一講書人閱讀 32,069評(píng)論 1 267
  • 我被黑心中介騙來泰國打工臂拓, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人习寸。 一個(gè)月前我還...
    沈念sama閱讀 46,545評(píng)論 2 362
  • 正文 我出身青樓胶惰,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國和親霞溪。 傳聞我的和親對(duì)象是個(gè)殘疾皇子孵滞,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,658評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容

  • 分布式架構(gòu)演進(jìn)過程 1.基本概念 1 :分布式 2 :高可用 3 :集群 4 :負(fù)載均衡 5 :正向代理和反向代理...
    小小一技術(shù)驛站閱讀 315評(píng)論 2 4
  • 1. 概述 本文以淘寶作為例子,介紹從一百個(gè)并發(fā)到千萬級(jí)并發(fā)情況下服務(wù)端的架構(gòu)的演進(jìn)過程鸯匹,同時(shí)列舉出每個(gè)演進(jìn)階段會(huì)...
    中v中閱讀 817評(píng)論 0 5
  • 本文是學(xué)習(xí)大型分布式網(wǎng)站架構(gòu)的技術(shù)總結(jié)殴蓬。對(duì)架構(gòu)一個(gè)高性能匿级、高可用、可伸縮及可擴(kuò)展的分布式網(wǎng)站進(jìn)行了概要性描述染厅,并給...
    Alukar閱讀 857評(píng)論 1 11
  • 出差痘绎,回到公司已是平時(shí)回到家的時(shí)間。 以前很喜歡出差肖粮,覺得很好玩孤页,可以去很多地方學(xué)習(xí)交流。 現(xiàn)在盡量能少出就少出尿赚,...
    winzy小文子閱讀 104評(píng)論 0 1
  • 愿你散庶, 孤單時(shí)有人陪伴 愿你蕉堰,想要愛時(shí)有人疼 2019.01.02 前兩日難得閑暇,我便去新華書店看了會(huì)書悲龟。適逢...
    宋培道閱讀 437評(píng)論 0 3