Cloud Computing 總結

Cloud Computing Week5

==========================

總算跟完了烧栋,這里再根據final test做一些總結。

1.Power usage effectiveness (PUE) is a measure of how efficiently a computer data center uses energy; specifically, how much energy is used by the computing equipment (in contrast to cooling and other overhead). 參考

PUE = Total Facility Energy / IT Equipment Energy

2.One problem with the Hadoop system is that by dividing the tasks across many nodes, it is possible for a few slow nodes to rate-limit the rest of the program. (有一個node很慢導致整體很慢,如何解決郊丛?引入speculative execution)

Tasks may be slow for various reasons, including hardware degradation, or software mis-configuration, but the causes may be hard to detect since the tasks still complete successfully, albeit after a longer time than expected.

Hadoop doesn’t try to diagnose and fix slow-running tasks; instead, it tries to detect when a task is running slower than expected and launches another, equivalent, task as a backup. This is termed speculative execution of tasks.參考

3.Hadoop Yarn作為一個分布式系統(tǒng)scheduler,將每一個server看作一個container的集合(collection),這里的container可以認為是一些CPU和memory的容易浩峡。Yarn由以下三部分組成:

  • Global Resource Manager:包含一個capacity scheduler,主要功能是schedule container給任務错敢。
  • (Per-server) Node Manager:執(zhí)行一些server級的功能,比如返回container已經完成任務的消息給RM缕粹。
  • Application Manager: 包含2個功能1)在RM與NM之間進行使用container的協(xié)商(negotiation)2)偵測task failure稚茅。

4.對于分布式系統(tǒng)而言,有兩個概念:

  • Satety: Something bad will never happen.
  • Liveness: Guarantee good will happen eventually.

5.Gossip-style failure detection protocol具有一個更新規(guī)則平斩。假設Node p當前時間為123亚享,有一個entry (q, 34, 101),entry分別表示 (address, heartbeat counter, local time)绘面。此時若來了新的entry (q, 35, 110)欺税,因為這個entry中q的heartbeat counter較之前的大侈沪,因此entry更新為 (q, 35, 123)。

6.CAP:Consistency晚凿、Availability和Partition Tolerance亭罪。

  • Consistency(一致性):一致性是說數(shù)據的原子性,這種原子性在經典的數(shù)據庫中是通過事務來保證的歼秽,當事務完成時应役,無論其是成功還是回滾,數(shù)據都會處于一致的狀態(tài)燥筷。在分布式環(huán)境中箩祥,一致性是說多個節(jié)點的數(shù)據是否一致。
  • Availability(可用性):可用性是說服務能一直保證是可用的狀態(tài)肆氓,當用戶發(fā)出一個請求袍祖,服務能在有限時間內返回結果。
  • Partition Tolerance(分區(qū)容錯性):Partition是指網絡的分區(qū)谢揪∶し海可以這樣理解,一般來說键耕,關鍵的數(shù)據和服務都會位于不同的IDC寺滚。

CAP原理指出一個分布式系統(tǒng)不可能同時滿足一致性,可用性和分區(qū)容錯性這三個需求屈雄,三個要素中最多只能同時滿足兩點村视。

7.BASE來自于互聯(lián)網的電子商務領域的實踐,它是基于CAP理論逐步演化而來酒奶,核心思想是即便不能達到強一致性(Strong consistency)蚁孔,但可以根據應用特點采用適當?shù)姆绞絹磉_到最終一致性(Eventual consistency)的效果。BASE是Basically Available惋嚎、Soft state杠氢、Eventually consistent三個詞組的簡寫,是對CAP中C & A的延伸另伍。BASE的含義:

  • Basically Available:基本可用
  • Soft-state:軟狀態(tài)/柔性事務鼻百,即狀態(tài)可以有一段時間的不同步
  • Eventual consistency:最終一致性

參考
http://www.cnblogs.com/hustcat/archive/2010/09/07/1820970.html

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市摆尝,隨后出現(xiàn)的幾起案子温艇,更是在濱河造成了極大的恐慌,老刑警劉巖堕汞,帶你破解...
    沈念sama閱讀 212,383評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件勺爱,死亡現(xiàn)場離奇詭異,居然都是意外死亡讯检,警方通過查閱死者的電腦和手機琐鲁,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評論 3 385
  • 文/潘曉璐 我一進店門卫旱,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人围段,你說我怎么就攤上這事顾翼。” “怎么了蒜撮?”我有些...
    開封第一講書人閱讀 157,852評論 0 348
  • 文/不壞的土叔 我叫張陵暴构,是天一觀的道長。 經常有香客問我段磨,道長取逾,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,621評論 1 284
  • 正文 為了忘掉前任苹支,我火速辦了婚禮砾隅,結果婚禮上,老公的妹妹穿的比我還像新娘债蜜。我一直安慰自己晴埂,他們只是感情好,可當我...
    茶點故事閱讀 65,741評論 6 386
  • 文/花漫 我一把揭開白布寻定。 她就那樣靜靜地躺著儒洛,像睡著了一般。 火紅的嫁衣襯著肌膚如雪狼速。 梳的紋絲不亂的頭發(fā)上琅锻,一...
    開封第一講書人閱讀 49,929評論 1 290
  • 那天,我揣著相機與錄音向胡,去河邊找鬼恼蓬。 笑死,一個胖子當著我的面吹牛僵芹,可吹牛的內容都是我干的处硬。 我是一名探鬼主播,決...
    沈念sama閱讀 39,076評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼拇派,長吁一口氣:“原來是場噩夢啊……” “哼荷辕!你這毒婦竟也來了?” 一聲冷哼從身側響起攀痊,我...
    開封第一講書人閱讀 37,803評論 0 268
  • 序言:老撾萬榮一對情侶失蹤桐腌,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后苟径,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 44,265評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡躬审,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,582評論 2 327
  • 正文 我和宋清朗相戀三年棘街,在試婚紗的時候發(fā)現(xiàn)自己被綠了蟆盐。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,716評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡遭殉,死狀恐怖石挂,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情险污,我是刑警寧澤痹愚,帶...
    沈念sama閱讀 34,395評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站蛔糯,受9級特大地震影響拯腮,放射性物質發(fā)生泄漏。R本人自食惡果不足惜蚁飒,卻給世界環(huán)境...
    茶點故事閱讀 40,039評論 3 316
  • 文/蒙蒙 一动壤、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧淮逻,春花似錦琼懊、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至筛严,卻和暖如春醉旦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背脑漫。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評論 1 266
  • 我被黑心中介騙來泰國打工髓抑, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人优幸。 一個月前我還...
    沈念sama閱讀 46,488評論 2 361
  • 正文 我出身青樓吨拍,卻偏偏與公主長得像,于是被迫代替她去往敵國和親网杆。 傳聞我的和親對象是個殘疾皇子羹饰,可洞房花燭夜當晚...
    茶點故事閱讀 43,612評論 2 350

推薦閱讀更多精彩內容

  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務發(fā)現(xiàn)碳却,斷路器队秩,智...
    卡卡羅2017閱讀 134,637評論 18 139
  • 你是 云中的微涼 油傘的惆悵, 是夜晚無人踏足的操場昼浦。 你是 長發(fā)的飄揚 裙擺的微蕩馍资, 是校道旁的花草,輕飏关噪。 你...
    懵橙閱讀 185評論 0 1
  • 1熊经、自信滿滿的銷售 人的精神狀態(tài)對你的你的潛能有影響非常大泽艘,自信的銷售員會散發(fā)出強大的氣場,這種氣場是經過歷練的成...
    SI玲閱讀 1,631評論 0 2
  • 說起小公舉許晴镐依,可能很多人都會說她作匹涮,公主病,不真實馋吗。我卻想說在我眼里她才是最真實焕盟,活的最自我的女子。 ...
    NJ一抹陽光閱讀 373評論 0 0
  • 不管你是“科黑”還是“科蜜”宏粤,偉大的傳奇終究還是要離開那座曾專屬于他的球場…… 本期脚翘,讓我們用數(shù)據來說說這位偉大的...
    效率火箭閱讀 320評論 0 0