云計算(第三版)學習筆記-03

分布式數據處理MapReduce

MapReduce是Google提出的一個軟件架構,是一種處理海量數據的并行編程模式条舔,用于大規(guī)模數據集(通常大于1TB)的并行計算。MapReduce有函數式和矢量編程語言的共性乏矾,是的這種編程模式特別適合于非結構化和結構化的海量數據的搜索孟抗、挖掘、分析和機器智能學習钻心。

MapReduce把對數據集的大規(guī)模操作凄硼,分發(fā)給一個主節(jié)點管理下的各分節(jié)點共同完成,通過這種方式實現任務的可靠執(zhí)行與容錯機制捷沸。在每個時間周期摊沉,主節(jié)點都會對分節(jié)點的工作狀態(tài)進行標記。一旦分節(jié)點狀態(tài)標記為死亡狀態(tài)痒给,則這個節(jié)點的所以任務都將分配給其他分節(jié)點重新執(zhí)行说墨。

分布式鎖服務Chubby

Chubby是Google設計的提供粗粒度鎖服務的一個文件系統(tǒng),它基于松耦合分布式系統(tǒng)苍柏,解決了分布的一致性問題尼斧。

Paxos算法

Paxos算法是Leslie Lamport最先提出的一種基于消息傳遞的一致性算法,用于解決分布式系統(tǒng)中的一致性問題试吁。Paxos算法中節(jié)點被分成了三種類型:proposers棺棵、acceptors、learners潘悼。其中proposers提出決議(value律秃,實際上就是告訴系統(tǒng)接下來該執(zhí)行哪個指令),acceptors批準決議治唤,learners獲取并使用已經通過的決議棒动。

滿足三個條件可以保證數據的一致性:1.決議只有在被proposers提出后才能批準;2.每次只批準一個決議宾添;3.只有決議確定被批準后learners才能獲取這個決議船惨。

在這些約束條件的基礎上,可以將一個決議的通過分成以下兩個階段缕陕。1.準備階段:proposers選擇一個提案并將它的編號設置為n粱锐,然后將它發(fā)送給acceptors中的一個“多數派”,acceptors收到后扛邑,如果提案的編號大于它已經回復的所以消息怜浅,則acceptors將自己上次的批準回復給proposers,并不再批準小于n的提案;2.批準階段:當proposers接收到acceptors中的這個“多數派”的回復后恶座,就向回復請求的acceptors發(fā)送accept請求搀暑,在符合acceptors一方約束條件下,acceptors收到accept請求后即批準這個請求跨琳。

Chubby系統(tǒng)設計

Chubby的設計目標有以下幾點:1.高可用性和高可靠性自点;2.高拓展性;3.支持粗粒度的建議性鎖服務脉让;4.服務信息的直接存儲桂敛;5.支持通報機制;6.支持緩存機制溅潜。

Chubby中的Paxos

單個副本主要由以下三層次組成:1术唬、最底層是一個容錯的日志,該日志對于數據庫的正確性提供了重要的支持滚澜。2碴开、最底層之上是一個容錯的數據庫,這個數據庫主要包括一個快照和一個記錄數據可操作的重播日志博秫,每一次的數據庫操作最終都將提交至日志中。3眶掌、Chubby構建在這個容錯的數據庫之上挡育,Chubby利用這個數據庫存儲所有的數據。

Chubby系統(tǒng)本質上就是一個分布式的朴爬、存儲大量小文件的文件系統(tǒng)即寒,它所有的操作都是在文件的基礎上完成的。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末召噩,一起剝皮案震驚了整個濱河市母赵,隨后出現的幾起案子,更是在濱河造成了極大的恐慌具滴,老刑警劉巖凹嘲,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異构韵,居然都是意外死亡周蹭,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門疲恢,熙熙樓的掌柜王于貴愁眉苦臉地迎上來凶朗,“玉大人,你說我怎么就攤上這事显拳∨锓撸” “怎么了?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵杂数,是天一觀的道長宛畦。 經常有香客問我瘸洛,道長,這世上最難降的妖魔是什么刃永? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任货矮,我火速辦了婚禮,結果婚禮上斯够,老公的妹妹穿的比我還像新娘囚玫。我一直安慰自己,他們只是感情好读规,可當我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布抓督。 她就那樣靜靜地躺著,像睡著了一般束亏。 火紅的嫁衣襯著肌膚如雪铃在。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天碍遍,我揣著相機與錄音定铜,去河邊找鬼。 笑死怕敬,一個胖子當著我的面吹牛揣炕,可吹牛的內容都是我干的。 我是一名探鬼主播东跪,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼畸陡,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了虽填?” 一聲冷哼從身側響起丁恭,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎斋日,沒想到半個月后牲览,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡桑驱,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年竭恬,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片熬的。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡痊硕,死狀恐怖,靈堂內的尸體忽然破棺而出押框,到底是詐尸還是另有隱情岔绸,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站盒揉,受9級特大地震影響晋被,放射性物質發(fā)生泄漏。R本人自食惡果不足惜刚盈,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一羡洛、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧藕漱,春花似錦欲侮、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至橄仍,卻和暖如春韧涨,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背侮繁。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工虑粥, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人宪哩。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓舀奶,卻偏偏與公主長得像,于是被迫代替她去往敵國和親斋射。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內容