Amazon Dynamo閱讀筆記

Amazon Dynamo閱讀筆記

論文主要內容

  • 系統(tǒng)架構
    • 系統(tǒng)接口
    • 分區(qū)算法
    • 復制
    • 數(shù)據(jù)版本
    • 系統(tǒng)接口的實現(xiàn)過程
    • 提示交移(hinted handoff)
    • membership and failure detection(經典理論)
    • 節(jié)點的增刪
  • 實現(xiàn)
  • 經驗
    • 如何平衡性能(performance)和持久性(durability)
    • 如何保證負載的在每一個節(jié)點上的均勻分布
    • 沖突的選擇:是在服務度解決沖突還是在客戶端解決沖突

SLA

在論文中邦投,有專門的一節(jié)來討論dynamo的SLA棚愤,所以仰猖,關于SLA值得記錄一下。關于服務質量的衡量指標,一般來說可以用平均數(shù)來表示拖吼,例如用300ms的平均響應時間來表示。而dynamo卻用了一個特別的衡量指標:99.9%的請求的響應時間少于300ms。注意忌愚,這跟用平均數(shù)有比較大的差別,因為用平均數(shù)却邓,即使你的平均數(shù)很低薄料,但也有可能有相當一部分請求的響應時間很高庄呈。

改進的一致性哈希算法

在傳統(tǒng)的一致性哈希算法上,服務節(jié)點跟哈希環(huán)上的點是一一對應的。這里會存在一個問題鹏漆,就是每一個節(jié)點的負載最后是不均勻的这难,而我們也無法進行調整枫甲。dynamo通過一個服務節(jié)點可以有多個哈希環(huán)上的虛擬節(jié)點的方法装黑,使得每一個服務節(jié)點的負載都是均勻的。并且假如發(fā)現(xiàn)了某一個節(jié)點的負載過高民傻,少分配虛擬節(jié)點給它便可以降低該服務節(jié)點的負載胶逢,從而實現(xiàn)了自動地負載均衡。

時鐘向量實現(xiàn)多版本數(shù)據(jù)

在CAP中饰潜,dynamo選擇了AP初坠,犧牲了C。因此彭雾,dynamo中得數(shù)據(jù)必然存在不一致性碟刺。為了在數(shù)據(jù)不一致的沖突,dynamo給每一個數(shù)據(jù)附加了一個時鐘向量來表示數(shù)據(jù)的版本薯酝。

hinted handoff

這是一個比較強悍的功能半沽。dynamo為了保證服務的可用性,當一個節(jié)點down之后吴菠,本來應該路由到該節(jié)點的寫依然可以被接受者填。這些寫請求會被路由到哈希環(huán)上的下一個可用節(jié)點,然后對落地的數(shù)據(jù)標上記號做葵,表示這個數(shù)據(jù)不是屬于本節(jié)點的占哟,而是屬于A節(jié)點的(打個比方)。然后當A節(jié)點恢復之后,數(shù)據(jù)又會被復制到A節(jié)點榨乎。

R + W > N

N指備份數(shù)怎燥;R、W分別表示讀和寫請求的成功數(shù)蜜暑。這條不等式的意思是我們可以配置不同的R铐姚、W、N來實現(xiàn)不同等級可用性和性能肛捍。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末隐绵,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子拙毫,更是在濱河造成了極大的恐慌依许,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,290評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件恬偷,死亡現(xiàn)場離奇詭異,居然都是意外死亡帘睦,警方通過查閱死者的電腦和手機袍患,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評論 2 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來竣付,“玉大人诡延,你說我怎么就攤上這事」诺ǎ” “怎么了肆良?”我有些...
    開封第一講書人閱讀 156,872評論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長逸绎。 經常有香客問我惹恃,道長,這世上最難降的妖魔是什么棺牧? 我笑而不...
    開封第一講書人閱讀 56,415評論 1 283
  • 正文 為了忘掉前任巫糙,我火速辦了婚禮,結果婚禮上颊乘,老公的妹妹穿的比我還像新娘参淹。我一直安慰自己,他們只是感情好乏悄,可當我...
    茶點故事閱讀 65,453評論 6 385
  • 文/花漫 我一把揭開白布浙值。 她就那樣靜靜地躺著,像睡著了一般檩小。 火紅的嫁衣襯著肌膚如雪开呐。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,784評論 1 290
  • 那天,我揣著相機與錄音负蚊,去河邊找鬼神妹。 笑死,一個胖子當著我的面吹牛家妆,可吹牛的內容都是我干的鸵荠。 我是一名探鬼主播,決...
    沈念sama閱讀 38,927評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼伤极,長吁一口氣:“原來是場噩夢啊……” “哼蛹找!你這毒婦竟也來了?” 一聲冷哼從身側響起哨坪,我...
    開封第一講書人閱讀 37,691評論 0 266
  • 序言:老撾萬榮一對情侶失蹤庸疾,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后当编,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體届慈,經...
    沈念sama閱讀 44,137評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,472評論 2 326
  • 正文 我和宋清朗相戀三年忿偷,在試婚紗的時候發(fā)現(xiàn)自己被綠了金顿。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,622評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡鲤桥,死狀恐怖揍拆,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情茶凳,我是刑警寧澤嫂拴,帶...
    沈念sama閱讀 34,289評論 4 329
  • 正文 年R本政府宣布,位于F島的核電站贮喧,受9級特大地震影響筒狠,放射性物質發(fā)生泄漏。R本人自食惡果不足惜箱沦,卻給世界環(huán)境...
    茶點故事閱讀 39,887評論 3 312
  • 文/蒙蒙 一窟蓝、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧饱普,春花似錦运挫、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至冯袍,卻和暖如春匈挖,著一層夾襖步出監(jiān)牢的瞬間碾牌,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工儡循, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留舶吗,地道東北人。 一個月前我還...
    沈念sama閱讀 46,316評論 2 360
  • 正文 我出身青樓择膝,卻偏偏與公主長得像誓琼,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子肴捉,可洞房花燭夜當晚...
    茶點故事閱讀 43,490評論 2 348

推薦閱讀更多精彩內容