分布式系統(tǒng)原理筆記

1. tcp只保證tcp棧消息不丟失,不能保證應(yīng)用層

2.系統(tǒng)狀態(tài):成功,失敗泊交,未知

3.一致性類(lèi)型

強(qiáng)一致(mysql事務(wù))臭觉,順序一致性,會(huì)話一致性辨液,

最終一致性(paox)

虐急,弱一致性(mysql同步)

1.2 分布式系統(tǒng)評(píng)價(jià)指標(biāo)

1.性能 ?2.可用性 3.擴(kuò)展性 4.一致性


2.1 數(shù)據(jù)分布方式

1.hash ??

優(yōu)點(diǎn):只記錄分桶數(shù)即可

缺點(diǎn):擴(kuò)容數(shù)據(jù)移動(dòng)大,值如果分布不均衡發(fā)生數(shù)據(jù)傾斜滔迈,

2.按數(shù)據(jù)范圍

缺點(diǎn):需要維護(hù)數(shù)據(jù)分布的元數(shù)據(jù)

??3.按數(shù)據(jù)量切分 chunk

缺點(diǎn):

2.2 副本的數(shù)據(jù)分布

1.以機(jī)器為單位

缺點(diǎn):

(1)不好擴(kuò)容(每臺(tái)機(jī)器是1/3的分片)止吁,擴(kuò)容必須增加三臺(tái)

(2)一個(gè)節(jié)點(diǎn)宕機(jī), ? copy全量數(shù)據(jù)


2.數(shù)據(jù)分段燎悍,一個(gè)機(jī)器多個(gè)分片

優(yōu)點(diǎn):一個(gè)節(jié)點(diǎn)宕機(jī)敬惦,能從所有節(jié)點(diǎn)同步數(shù)據(jù)

2.3 副本協(xié)議

1.中心化

更新只針對(duì)primary 節(jié)點(diǎn),然后同步給副本

流程:

(1)

2.去中心化

paox

3 分布式協(xié)議

1.lease

流程:

? ?(1)master 想slave同步時(shí)發(fā)送一個(gè)lease谈山,帶有有效期俄删。保證在此有效期不對(duì)數(shù)據(jù)做修改

(2)slave上的lease,刪除此數(shù)據(jù)

(3)master收到更新請(qǐng)求

? ? ?<1>會(huì)阻塞請(qǐng)求

? ? ?優(yōu)化:(開(kāi)始更新時(shí),不發(fā)放lease畴椰,或發(fā)放的lease是以發(fā)放里最大的)

? ? ? <2>等待發(fā)出的lease過(guò)期臊诊。

? ? ? 優(yōu)化:master主動(dòng)請(qǐng)求slave清除lease

讀取流程:

(1)發(fā)現(xiàn)數(shù)據(jù)有cache,并且lease 未過(guò)期迅矛,直接本地返回妨猩。否則轉(zhuǎn)給master

用途:使用lease選主,中央節(jié)點(diǎn)Q給master 發(fā)送一個(gè)特殊lease秽褒,每次收到slave心跳發(fā)放一個(gè)lease

2.quorum

定義:更新是一系列順序過(guò)程壶硅,wi(i是版本號(hào))

類(lèi)型:

?write-all-read-one(所有節(jié)點(diǎn)寫(xiě)成功,才算成功)=

w + r = n+1

缺點(diǎn):

必須讀取到w個(gè)節(jié)點(diǎn)销斟,才能確定當(dāng)前成功的最高版本

4.兩階段提交過(guò)程

角色:一個(gè)中心化協(xié)調(diào)者庐椒,n個(gè)參與者

流程:

?協(xié)調(diào)者:(1)本地寫(xiě)入日子begin-commit ,進(jìn)入wait狀態(tài)(2)向參與者發(fā)送prpare

(3)等待參與者對(duì)prepare的響應(yīng),收到全部vote-commit蚂踊,寫(xiě)入gloabl-commit日志约谈,進(jìn)入commit狀態(tài),并發(fā)送gloabl-commit消息犁钟。只要收到一個(gè)abort棱诱,寫(xiě)入gloabl-abort,進(jìn)入abort狀態(tài)涝动,發(fā)送gloabl-abort消息

(4)等待確認(rèn)消息迈勋,都收到后寫(xiě)入end-transaction日志

參與者(1)寫(xiě)入init日志,進(jìn)入init狀態(tài) (2)等待協(xié)調(diào)者prepare消息 (3)如果能提交醋粟,寫(xiě)入ready日志靡菇,進(jìn)入ready狀態(tài)(3.1)向協(xié)調(diào)者發(fā)送vote-commit (3.2)等待協(xié)調(diào)者消息,如果是gloabl-commit,寫(xiě)入commit日志米愿,進(jìn)入commit狀態(tài)厦凤。如果是gloabl-abort,寫(xiě)入abort日志育苟,進(jìn)入abort狀態(tài)较鼓,向協(xié)調(diào)者發(fā)送確認(rèn)消息。

(4)不能提交宙搬,寫(xiě)入abort日志笨腥,進(jìn)入abort狀態(tài),發(fā)送vote-abort消息勇垛,后續(xù)可響應(yīng)gloabl-abort消息

缺點(diǎn): 沒(méi)有容錯(cuò)能力,如果協(xié)調(diào)者發(fā)送gloabl-commit或者gloabl-abort超時(shí)士鸥,需要一直不斷的重發(fā)闲孤。如果有參與者宕機(jī)或者網(wǎng)絡(luò)斷開(kāi),流程卡住了∷匣或者參與者在進(jìn)入ready狀態(tài)肥照,等待gloabl-commit超時(shí),只有不斷發(fā)送vote-commit勤众,如果和協(xié)調(diào)者網(wǎng)絡(luò)斷開(kāi)舆绎,流程卡住了。

5.mvcc

類(lèi)似svn们颜。每個(gè)事務(wù)一個(gè)分支吕朵,后提交的如果沒(méi)有沖突就合并。有則失敗窥突。


保證不影響真正的數(shù)據(jù)努溃,有2種方式。(1)copy后在修改阻问,類(lèi)似svn的checkout (2)只提交修改記錄梧税,然后從基礎(chǔ)版本計(jì)算,類(lèi)似git称近。????

6.paxos

角色: proper第队,acceptor,learner

流程:每輪都有個(gè)編號(hào)(下面用b來(lái)表示)

proper 端

? 準(zhǔn)備階段

? ? (1)發(fā)送Proper(b)?

? ?(2)如果收到一個(gè)Reject(B)刨秆,本輪失敗凳谦,輪次號(hào)加1(b+1)重新執(zhí)行步驟一

?批準(zhǔn)階段

?(3)如果收到的Promise(b,vi)的數(shù)量超過(guò)半數(shù),如果v都是空坛善,可以設(shè)置任意的值晾蜘。否則選擇i最大的v。廣播accept(b,v)

(4)如果收到nack(b)眠屎,輪次號(hào)加1(b+1)重新執(zhí)行步驟一


acceptor端:

準(zhǔn)備階段:

(1)接收proper(b)

? ? ?參數(shù)B是之前接收到的最大輪次號(hào)剔交,V是之前選定的值(可為空)

? ?如果b > B ,回復(fù)promise(b,V_B),設(shè)置B= b。否則回復(fù)Rejec(B)

(2)接收accept(b,v)

如果b>B,設(shè)置V= v改衩,廣播accept消息岖常,否則回復(fù)Nack(B),

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市葫督,隨后出現(xiàn)的幾起案子竭鞍,更是在濱河造成了極大的恐慌,老刑警劉巖橄镜,帶你破解...
    沈念sama閱讀 217,907評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件偎快,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡洽胶,警方通過(guò)查閱死者的電腦和手機(jī)晒夹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人丐怯,你說(shuō)我怎么就攤上這事喷好。” “怎么了读跷?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,298評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵梗搅,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我效览,道長(zhǎng)无切,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,586評(píng)論 1 293
  • 正文 為了忘掉前任钦铺,我火速辦了婚禮订雾,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘矛洞。我一直安慰自己洼哎,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布沼本。 她就那樣靜靜地躺著噩峦,像睡著了一般。 火紅的嫁衣襯著肌膚如雪抽兆。 梳的紋絲不亂的頭發(fā)上识补,一...
    開(kāi)封第一講書(shū)人閱讀 51,488評(píng)論 1 302
  • 那天,我揣著相機(jī)與錄音辫红,去河邊找鬼凭涂。 笑死,一個(gè)胖子當(dāng)著我的面吹牛贴妻,可吹牛的內(nèi)容都是我干的切油。 我是一名探鬼主播,決...
    沈念sama閱讀 40,275評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼名惩,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼澎胡!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起娩鹉,我...
    開(kāi)封第一講書(shū)人閱讀 39,176評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤攻谁,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后弯予,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體戚宦,經(jīng)...
    沈念sama閱讀 45,619評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評(píng)論 3 336
  • 正文 我和宋清朗相戀三年锈嫩,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了阁苞。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片困檩。...
    茶點(diǎn)故事閱讀 39,932評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡祠挫,死狀恐怖那槽,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情等舔,我是刑警寧澤骚灸,帶...
    沈念sama閱讀 35,655評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站慌植,受9級(jí)特大地震影響甚牲,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜蝶柿,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評(píng)論 3 329
  • 文/蒙蒙 一丈钙、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧交汤,春花似錦雏赦、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,871評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至戒洼,卻和暖如春俏橘,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背圈浇。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,994評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工寥掐, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人磷蜀。 一個(gè)月前我還...
    沈念sama閱讀 48,095評(píng)論 3 370
  • 正文 我出身青樓召耘,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親蠕搜。 傳聞我的和親對(duì)象是個(gè)殘疾皇子怎茫,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評(píng)論 2 354