我是一塊硬盤-我傷不起 (為什么要用分布式架構(gòu))

1.1 從一個(gè)故事說起
1.2 分布式架構(gòu)的由來
1.3 什么是分布式架構(gòu)
1.4 分布式架構(gòu)的應(yīng)用
1.5 小張講解

1.1? 從一個(gè)故事說起


? ? ? 我是一塊硬盤,我很勤奮刃麸,一天到晚不停的運(yùn)轉(zhuǎn)踊餐,一直轉(zhuǎn)個(gè)不停乱豆,但是我我總是拖大伙的后退伶棒,終于有一天我的身體發(fā)出了“咯吱咯吱”的聲音,隨之而來的的我一陣劇痛项戴,我病倒了形帮,我不能轉(zhuǎn)了,這次我病的不輕,隱隱約約聽到外面工程師討論的聲音:

"雙11 來了辩撑,害得我們還要加班過來巡檢機(jī)房"界斜,我多么想向他們進(jìn)行呼救啊,我奮力發(fā)出紅色的指示燈讓他們看到我合冀,救救我!
"看锄蹂,有塊硬盤壞掉了" 有一位工程師說道,

“這下完蛋了水慨,我們公司的小張商城肯定是掛掉了得糜,平時(shí)都好好的,雙11怎么這樣的呢”另一位說道晰洒,
雙11 陡增的訪問量 讓我 的工作-讀寫硬盤 不堪重負(fù)啊朝抖。
電商以及移動(dòng)互聯(lián)網(wǎng)的興起也讓我們的系統(tǒng)架構(gòu)朝著分布式架構(gòu)邁進(jìn),而分布式架構(gòu)也是云架構(gòu)的基礎(chǔ)谍珊。

云計(jì)算治宣、大數(shù)據(jù)技術(shù)的興起,讓分布式架構(gòu)的設(shè)計(jì)變得越來越重要了砌滞。

1.2 分布式架構(gòu)的由來


從上面的故事我們可以看出侮邀,硬件系統(tǒng)的瓶頸大部分來自于硬盤IO, 硬盤的讀寫比其他部件贝润,例如:硬盤比內(nèi)存要慢幾萬倍左右绊茧,

這個(gè)時(shí)候有兩種解決方案:

1. 提高硬盤讀寫效率

2. 提供多塊硬盤并行讀寫

我們來分析一下這兩種方式的不同:

第一種方式

就是用 更好的硬件,更高的配置

現(xiàn)在我們常用的硬盤是 機(jī)械硬盤


機(jī)械硬盤的工作方式是由磁頭臂帶動(dòng)磁頭在磁盤上運(yùn)動(dòng)的原理來進(jìn)行數(shù)據(jù)讀取的打掘。

而采用SSD固態(tài)硬盤华畏,存儲(chǔ)速率可以提升2倍以上,效率提升是明顯的尊蚁。


PS: 家里有老式的電腦亡笑,開機(jī)慢的可以考慮換一塊固態(tài)硬盤,體驗(yàn)10秒開機(jī)的飛一般的感覺横朋。

附上一張 機(jī)械硬盤 與 固態(tài)硬盤 的數(shù)據(jù)讀取測(cè)試表


貌似這是解決問題的一種方式仑乌,但是整體性能只提升了2倍而已,如果更多的訪問量以及并發(fā)過來讀寫硬盤怎么辦呢

好像是無解了琴锭,只能苦逼的等待開發(fā)出新的先進(jìn)的硬盤出來晰甚,

可是我們是商業(yè)項(xiàng)目啊,也要考慮成本啊祠够,不考慮成本的話压汪,直接買臺(tái) 銀河一號(hào) 超級(jí)計(jì)算機(jī)過來 ,啥都解決了古瓤,是不

第二種方式

這個(gè)時(shí)候有人提出來一個(gè)概念:人多力量大

俗話說:三個(gè)臭皮匠抵得上一個(gè)諸葛亮

我們拿三塊機(jī)械硬盤共同協(xié)作工作 , 他的綜合性能指標(biāo)已經(jīng)超過了一塊SSD固態(tài)硬盤,

更大優(yōu)點(diǎn)在于:理論上有無限的水平擴(kuò)展性落君,我可以加10塊穿香,20塊,100塊 機(jī)械硬盤绎速,遠(yuǎn)遠(yuǎn)超過一塊SSD固態(tài)硬盤性能好多倍皮获,

并且價(jià)格低廉。

這就是分布式的基本思想:三個(gè)臭皮匠抵個(gè)諸葛亮纹冤。

我們把這個(gè)概念放大一下洒宝,用到服務(wù)器上,就是 多臺(tái)服務(wù)器之間的協(xié)做了萌京,原理和基本思想是一樣的雁歌,但是處理的事情就復(fù)雜很多

我們把處理事情的應(yīng)用不同,又分為:分布式文件系統(tǒng)知残,分布式緩存系統(tǒng)靠瞎,分布式數(shù)據(jù)庫(kù),分布式WebService求妹,分布式計(jì)算 等等

技術(shù)架構(gòu)都是根據(jù)實(shí)際應(yīng)用慢慢演化的乏盐,

就像小張一樣,小張老師現(xiàn)在開辦第一期分布式架構(gòu)班制恍,如果以后學(xué)員多了父能,小張老師要

同時(shí)對(duì)多個(gè)班上課怎么辦呢,辦法一就是小張老師變的強(qiáng)大净神,可以一對(duì)多的上課法竞,同時(shí)對(duì)兩個(gè)班上課還行,再多了估計(jì)小張變superman

才行啊

另一個(gè)辦法就是 小張變身(也就是正在培養(yǎng)成為L(zhǎng)eader的你們)强挫,以后小張可以和你們一同對(duì)多個(gè)班同時(shí)上課岔霸,這樣有更多的Leader

就可以開辦更多的班,水平擴(kuò)展性好.

1.3 什么是分布式架構(gòu)



這一節(jié)我們來學(xué)習(xí)下理論俯渤,什么是分布式架構(gòu):

分布式系統(tǒng)(distributed system)是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)呆细。

正是因?yàn)檐浖奶匦裕苑植际较到y(tǒng)具有高度的內(nèi)聚性和透明性八匠。

因此絮爷,網(wǎng)絡(luò)和分布式系統(tǒng)之間的區(qū)別更多的在于高層軟件(特別是操作系統(tǒng)),而不是硬件梨树。

內(nèi)聚性是指每一個(gè)數(shù)據(jù)庫(kù)分布節(jié)點(diǎn)高度自治坑夯,有本地的數(shù)據(jù)庫(kù)管理系統(tǒng)。

透明性是指每一個(gè)數(shù)據(jù)庫(kù)分布節(jié)點(diǎn)對(duì)用戶的應(yīng)用來說都是透明的抡四,看不出是本地還是遠(yuǎn)程柜蜈。

在分布式數(shù)據(jù)庫(kù)系統(tǒng)中仗谆,用戶感覺不到數(shù)據(jù)是分布的,即用戶不須知道關(guān)系是否分割淑履、有無副本隶垮、數(shù)據(jù)存于哪個(gè)站點(diǎn)以及事務(wù)在哪個(gè)站點(diǎn)上執(zhí)行等。

簡(jiǎn)單來講:在一個(gè)分布式系統(tǒng)中秘噪,一組獨(dú)立的計(jì)算機(jī)展現(xiàn)給用戶的是一個(gè)統(tǒng)一的整體狸吞,就好像是一個(gè)系統(tǒng)似的。


分布式系統(tǒng)作為一個(gè)整體對(duì)用戶提供服務(wù)指煎,而整個(gè)系統(tǒng)的內(nèi)部的協(xié)作用戶來說是透明的蹋偏,用戶就像是在使用一個(gè)MySQL一樣。

在接下來的課程中我們將會(huì)以分布式MySQL中間件-Mycat為實(shí)例至壤,來講解分布式系統(tǒng)的構(gòu)建以及如何處理大并發(fā)大數(shù)據(jù)量的構(gòu)架威始。

1.4 分布式架構(gòu)的應(yīng)用


在1.2 節(jié)中,有說到 :分布式系統(tǒng)是根據(jù)不用的應(yīng)用層面來建立的

所有就有 分布式文件系統(tǒng)崇渗,分布式緩存系統(tǒng)字逗,分布式數(shù)據(jù)庫(kù),分布式WebService宅广,分布式計(jì)算 這些

我們來舉例說明:

分布式文件系統(tǒng): 出名的有 Hadoop 的HDFS ,還有 google的 GFS , 淘寶的 TFS 等

分布式緩存系統(tǒng):memcache , hbase , mongdb 等

分布式數(shù)據(jù)庫(kù) : MySQL , Mariadb, PostgreSQL 等

而我們已分布式MySQL數(shù)據(jù)庫(kù)中間件MyCat 為實(shí)例葫掉,來深入分布式系統(tǒng),

MySQL 在現(xiàn)在電商以及互聯(lián)網(wǎng)公司的應(yīng)用非常多跟狱,一個(gè)是因?yàn)樗拿赓M(fèi)開源俭厚,另外一個(gè)原因是因?yàn)榉植际较到y(tǒng)

的水平可擴(kuò)展性,隨著移動(dòng)互聯(lián)網(wǎng)用戶的暴增驶臊,互聯(lián)網(wǎng)公司挪挤,像淘寶,天貓关翎,唯品會(huì)等電商都采用分布式系統(tǒng)應(yīng)對(duì)

用戶的高并發(fā)量以及大數(shù)據(jù)量的存儲(chǔ)扛门。

而在Mycat的商業(yè)案例中,有對(duì)中國(guó)移動(dòng)的賬單結(jié)算項(xiàng)目中纵寝,應(yīng)用實(shí)時(shí)處理高峰期每天2億的數(shù)據(jù)量论寨,

在對(duì)物聯(lián)網(wǎng)的項(xiàng)目中,實(shí)現(xiàn)處理高達(dá)26億的數(shù)據(jù)量爽茴,并提供實(shí)時(shí)查詢的接口葬凳。

通過對(duì)MyCat的學(xué)習(xí),加深分布式系統(tǒng)架構(gòu)的理解室奏,

以及分布式相關(guān)的技術(shù)火焰,分布式一致性ZooKeeper服務(wù), 高可用HAProxy/keepalived等相關(guān)應(yīng)用。

1.5 小張講解


1> 集群 與 分布式

2> 負(fù)載均衡

3> 分布式相關(guān)的高可用胧沫、容災(zāi)等名詞解釋

4> Mycat 中間件學(xué)習(xí)搶先看



本文原創(chuàng)小張昌简,轉(zhuǎn)載請(qǐng)注明來源地址?小張博客

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末占业,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子江场,更是在濱河造成了極大的恐慌纺酸,老刑警劉巖窖逗,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件址否,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡碎紊,警方通過查閱死者的電腦和手機(jī)昂验,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門莹桅,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事厌秒。” “怎么了储玫?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵澎羞,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我锅锨,道長(zhǎng)叽赊,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任必搞,我火速辦了婚禮必指,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘恕洲。我一直安慰自己塔橡,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布霜第。 她就那樣靜靜地躺著葛家,像睡著了一般。 火紅的嫁衣襯著肌膚如雪泌类。 梳的紋絲不亂的頭發(fā)上癞谒,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音末誓,去河邊找鬼扯俱。 笑死,一個(gè)胖子當(dāng)著我的面吹牛喇澡,可吹牛的內(nèi)容都是我干的迅栅。 我是一名探鬼主播,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼晴玖,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼读存!你這毒婦竟也來了为流?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤让簿,失蹤者是張志新(化名)和其女友劉穎敬察,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體尔当,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡莲祸,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了椭迎。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锐帜。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖畜号,靈堂內(nèi)的尸體忽然破棺而出缴阎,到底是詐尸還是另有隱情,我是刑警寧澤简软,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布蛮拔,位于F島的核電站,受9級(jí)特大地震影響痹升,放射性物質(zhì)發(fā)生泄漏建炫。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一视卢、第九天 我趴在偏房一處隱蔽的房頂上張望踱卵。 院中可真熱鬧,春花似錦据过、人聲如沸惋砂。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)西饵。三九已至,卻和暖如春鳞芙,著一層夾襖步出監(jiān)牢的瞬間眷柔,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來泰國(guó)打工原朝, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留驯嘱,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓喳坠,卻偏偏與公主長(zhǎng)得像鞠评,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子壕鹉,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容