適合 分布式系統(tǒng)工程師 的 分布式系統(tǒng)理論

適合 分布式系統(tǒng)工程師 的 分布式系統(tǒng)理論

原文

Gwen Shapira曾在Cloudera做工程師,現(xiàn)在宣傳Kafka知给,他在Twitter問了以下問題渺杉,使我有所思考臭猜。

我想在分布式理論上有所提升琴儿。應該從哪開始夹界?有推薦的書?
— Gwen (Chen) Shapira (@gwenshap) August 7, 2014

我第一反應是“可以看:FLP論文羹应、paxos論文掀鹅、Byzantine將軍論文”云头。我推薦的主要閱讀材料,如果你貿(mào)然去讀淫半,你至少要閱讀6個月才會有感覺溃槐。由此可知,推薦一噸的理論論文讓你閱讀科吭,這是了解分布式系統(tǒng)的錯誤的方式(除非你在讀博士)昏滴。 論文一般是深奧、復雜的对人,而且需要一系列學習和豐富的經(jīng)驗才能感覺到其貢獻谣殊、才能把其放到對應的場景(以理解和應用)。

工程師了解分布式理論有什么好處牺弄?

很不幸姻几,幾乎沒有好的引導文章,來總結势告、提煉蛇捌、場景化 分布式系統(tǒng)理論中的重要結論和想法; 特別是 通俗易懂的引導文章 更沒有。
考慮這樣的空白區(qū)域咱台,讓我想問另一個問題:

一個分布式系統(tǒng)工程師應該了解什么樣的分布式系統(tǒng)理論络拌?

這種情況下,了解一點點理論并不是壞事回溺。我日常工作是一個分布式系統(tǒng)工程師春贸,下面會給出 我認為適合我的基本概念 們混萝。
你認為我缺失的請告知我!

準備

下面四個讀物解釋了構建分布式系統(tǒng)會遇到的困難。這些讀物都勾勒了一些列 抽象而非技術 的困難萍恕,分布式系統(tǒng)工程師必須要克服這些困難逸嘀。這些讀物的后面章節(jié)有更詳細的研究。

Distributed Systems for Fun and Profit 是一本小書允粤,它想覆蓋分布式系統(tǒng)中的一些基本問題厘熟,包括 時鐘所起的作用、不同策略的復制维哈。

Notes on distributed systems for young bloods - 非理論绳姨,而是一個很好的實踐,以讓你落到實處阔挠。

A Note on Distributed Systems - 一個經(jīng)典論文飘庄,關于 為什么你不能假裝所有遠程交互像本地對象一樣。

The fallacies of distributed computing 分布式計算的8個錯誤的推論购撼,以提醒系統(tǒng)設計者跪削。

你應該知道 安全 和 活力:

  • 安全 說的是 永遠不會發(fā)生壞事。比如迂求,不返回不一致的值 是 一種 安全碾盐, 同一時刻不會選出兩個 主節(jié)點 也是 一種 安全。
  • 活力 說的是 好事情終究會發(fā)生揩局。比如毫玖,對于每個api調(diào)用,一個系統(tǒng)終究會返回一個結果凌盯,這是一種 活力付枫;保證一次寫磁盤最終總能結束,這是一種 活力驰怎。

失敗和時鐘

分布式系統(tǒng)工程師面對的許多困難可以歸結為以下兩個原因:

  1. 進程可能失敗

  2. There is no good way to tell that they have done so

進程間怎么共用時鐘阐滩、什么樣的失敗可以檢測、什么樣的算法和原語可以被正確實現(xiàn)县忌,這三者之間有很深的聯(lián)系掂榔。一般情況下,我們假設不同節(jié)點絕對無法共用時鐘(時刻值或流過了多少時間).

你應該知道:

  • 兩個節(jié)點之間,沒有任何共用時鐘鸳慈,你怎么確定一個節(jié)點上的一個事件和另一個節(jié)點上的另一個事件之間的先后順序. 這就要閱讀Lamport時鐘和更一般化的Vector時鐘, 也可以閱讀Dynamo論文.
  • 允許單節(jié)點失敗對實現(xiàn)正確的分布式系統(tǒng)有多大的沖擊饱溢?(見下面FLP結論處)

容錯導致的基本矛盾

一個系統(tǒng)容忍一些錯誤而沒有降級 必須能當成 就像這些錯誤沒有發(fā)生過一樣挖函。這意味著系統(tǒng)的一部分要冗余地工作(同樣的功能部署多個節(jié)點)状植,冗余是絕對必要的,冗余一般會帶來性能和資源的消耗怨喘。這就是給一個系統(tǒng)添加冗余的基本矛盾津畸。

你應該知道:

  • 確保串行單復制的多數(shù)派技術. 見 Skeen’s original paper, 不過或許更好的是 Wikipedia條目.
    (多數(shù)派中有一個是主節(jié)點,其余為從節(jié)點,以主節(jié)點接收到的寫請求序列為準[即串行]必怜,主節(jié)點單方面的要求從節(jié)點們接受主節(jié)點的寫請求序列[從節(jié)點不得反抗肉拓、不得有異議:從節(jié)點是誠實的非惡意的、遵守全局規(guī)則的梳庆、非拜占庭的])

基本原語

在分布式系統(tǒng)中驻售,很少有約定的基本構建塊,更多的是處于形成中的基本構建塊更米。你應該知道下面的問題是什么欺栗,并且從哪能找到他們的解決方案:

  • 廣播 - 同時發(fā)送消息給集群
*   [原子廣播](http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.3.4709&rep=rep1&type=pdf) - 你能發(fā)送消息給一集群征峦,使得要么集群中的所有節(jié)點都收到了這條信息纸巷、要么集群中全部節(jié)點都沒收到此消息?(這就是原子廣播)


*   Gossip ([經(jīng)典論文](http://bitsavers.informatik.uni-stuttgart.de/pdf/xerox/parc/techReports/CSL-89-1_Epidemic_Algorithms_for_Replicated_Database_Maintenance.pdf))
    
*   [因果廣播](https://www.cs.cornell.edu/courses/cs614/2003sp/papers/BSS91.pdf) (也可以看看 [Birman](https://www.cs.rice.edu/~alc/comp520/papers/Cheriton_Skeen.pdf)和[forth](https://www.cs.princeton.edu/courses/archive/fall07/cos518/papers/catocs-limits-response.pdf) ).

基礎結論

有些事實只需要主觀理解(不需要關注證明).

  • 如果節(jié)點間可能丟失消息[:P]眶痰,那么你不可能 既 實現(xiàn)一致性存儲[:C] 又 響應所有時刻的請求[:A]. 這就是 CAP理論.

  • 在一個異步系統(tǒng)中瘤旨,一致性不可能以這樣一個途徑實現(xiàn):既a) 總是正確的 ; 又b) 總是能結束 即使只有一個節(jié)點可能以 崩潰-*停止 失敗 (FLP結論). 在看證明之前竖伯,看下我以簡明的方式解釋FLP結論的論文 Papers We Love SF talk . 建議: 沒有理解證明的需要.
    (一個異步系統(tǒng)中存哲,假設節(jié)點崩潰后停止而不是奔潰后又恢復;1七婴、要確保結果總是正確的祟偷,2、每次寫請求能夠在有限時間內(nèi)返回結果打厘。這兩點沒法同時滿足:這就是FLP結論)

  • 一般地修肠,只進行少于2輪的消息傳遞,不可能達成一致性 .

  • 原子廣播和一致性户盯,二者的難度精確的相等嵌施。更直白的說饲化,如果你能解原子廣播,那么你也能解一致性吗伤,反之亦然吃靠。 Chandra 和 Toueg 證明了這一點, 但是你只需要知道這個論斷是成立的。

真實系統(tǒng)

最重要的足淆、應該不斷重復的實踐是:讀新的巢块、真實的系統(tǒng)的描述,并評價他們設計的決定巧号。 下面是建議的系統(tǒng):

Google:

Not Google:

Postscript 結尾

如果你馴服了這個列表中的所有概念和技術族奢,我很樂意和你聊聊Cloudera的分布式系統(tǒng)工程師職位。

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末丹鸿,一起剝皮案震驚了整個濱河市歹鱼,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌卜高,老刑警劉巖弥姻,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異掺涛,居然都是意外死亡庭敦,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進店門薪缆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來秧廉,“玉大人,你說我怎么就攤上這事拣帽√鄣纾” “怎么了?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵减拭,是天一觀的道長蔽豺。 經(jīng)常有香客問我,道長拧粪,這世上最難降的妖魔是什么修陡? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮可霎,結果婚禮上魄鸦,老公的妹妹穿的比我還像新娘。我一直安慰自己癣朗,他們只是感情好拾因,可當我...
    茶點故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般绢记。 火紅的嫁衣襯著肌膚如雪扁达。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天庭惜,我揣著相機與錄音罩驻,去河邊找鬼穗酥。 笑死护赊,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的砾跃。 我是一名探鬼主播骏啰,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼抽高!你這毒婦竟也來了判耕?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤翘骂,失蹤者是張志新(化名)和其女友劉穎壁熄,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體碳竟,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡草丧,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了莹桅。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片昌执。...
    茶點故事閱讀 40,865評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖诈泼,靈堂內(nèi)的尸體忽然破棺而出懂拾,到底是詐尸還是另有隱情,我是刑警寧澤铐达,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布岖赋,位于F島的核電站,受9級特大地震影響瓮孙,放射性物質(zhì)發(fā)生泄漏贾节。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一衷畦、第九天 我趴在偏房一處隱蔽的房頂上張望栗涂。 院中可真熱鬧,春花似錦祈争、人聲如沸斤程。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽忿墅。三九已至扁藕,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間疚脐,已是汗流浹背亿柑。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留棍弄,地道東北人望薄。 一個月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像呼畸,于是被迫代替她去往敵國和親痕支。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,870評論 2 361

推薦閱讀更多精彩內(nèi)容