[翻譯]Secondary NameNode:它究竟有什么作用啃奴?

前言

最近剛接觸Hadoop, 一直沒有弄明白NameNode和Secondary NameNode的區(qū)別和關系潭陪。很多人都認為,Secondary NameNode是NameNode的備份最蕾,是為了防止NameNode的單點失敗的依溯,直到讀了這篇文章Secondary Namenode - What it really do? (需翻墻)才發(fā)現(xiàn)并不是這樣。文章寫的很通俗易懂瘟则,現(xiàn)將其翻譯如下:

Secondary NameNode:它究竟有什么作用黎炉?

在Hadoop中,有一些命名不好的模塊醋拧,Secondary NameNode是其中之一慷嗜。從它的名字上看,它給人的感覺就像是NameNode的備份丹壕。但它實際上卻不是庆械。很多Hadoop的初學者都很疑惑,Secondary NameNode究竟是做什么的菌赖,而且它為什么會出現(xiàn)在HDFS中缭乘。因此,在這篇文章中琉用,我想要解釋下Secondary NameNode在HDFS中所扮演的角色堕绩。

從它的名字來看,你可能認為它跟NameNode有點關系邑时。沒錯逛尚,你猜對了。因此在我們深入了解Secondary NameNode之前刁愿,我們先來看看NameNode是做什么的。

NameNode

NameNode主要是用來保存HDFS的元數(shù)據(jù)信息到逊,比如命名空間信息铣口,塊信息等。當它運行的時候觉壶,這些信息是存在內(nèi)存中的脑题。但是這些信息也可以持久化到磁盤上。

上面的這張圖片展示了NameNode怎么把元數(shù)據(jù)保存到磁盤上的铜靶。這里有兩個不同的文件:

  1. fsimage - 它是在NameNode啟動時對整個文件系統(tǒng)的快照
  2. edit logs - 它是在NameNode啟動后叔遂,對文件系統(tǒng)的改動序列

只有在NameNode重啟時他炊,edit logs才會合并到fsimage文件中,從而得到一個文件系統(tǒng)的最新快照已艰。但是在產(chǎn)品集群中NameNode是很少重啟的痊末,這也意味著當NameNode運行了很長時間后,edit logs文件會變得很大哩掺。在這種情況下就會出現(xiàn)下面一些問題:

  1. edit logs文件會變的很大凿叠,怎么去管理這個文件是一個挑戰(zhàn)。
  2. NameNode的重啟會花費很長時間嚼吞,因為有很多改動[筆者注:在edit logs中]要合并到fsimage文件上盒件。
  3. 如果NameNode掛掉了,那我們就丟失了很多改動因為此時的fsimage文件非常舊舱禽。[筆者注: 筆者認為在這個情況下丟失的改動不會很多, 因為丟失的改動應該是還在內(nèi)存中但是沒有寫到edit logs的這部分炒刁。]

因此為了克服這個問題,我們需要一個易于管理的機制來幫助我們減小edit logs文件的大小和得到一個最新的fsimage文件誊稚,這樣也會減小在NameNode上的壓力翔始。這跟Windows的恢復點是非常像的,Windows的恢復點機制允許我們對OS進行快照片吊,這樣當系統(tǒng)發(fā)生問題時绽昏,我們能夠回滾到最新的一次恢復點上。

現(xiàn)在我們明白了NameNode的功能和所面臨的挑戰(zhàn) - 保持文件系統(tǒng)最新的元數(shù)據(jù)俏脊。那么全谤,這些跟Secondary NameNode又有什么關系呢?

Secondary NameNode

SecondaryNameNode就是來幫助解決上述問題的爷贫,它的職責是合并NameNode的edit logs到fsimage文件中认然。

上面的圖片展示了Secondary NameNode是怎么工作的。

  1. 首先漫萄,它定時到NameNode去獲取edit logs卷员,并更新到fsimage上。[筆者注:Secondary NameNode自己的fsimage]
  2. 一旦它有了新的fsimage文件腾务,它將其拷貝回NameNode中毕骡。
  3. NameNode在下次重啟時會使用這個新的fsimage文件,從而減少重啟的時間岩瘦。

Secondary NameNode的整個目的是在HDFS中提供一個檢查點未巫。它只是NameNode的一個助手節(jié)點。這也是它在社區(qū)內(nèi)被認為是檢查點節(jié)點的原因启昧。

現(xiàn)在叙凡,我們明白了Secondary NameNode所做的不過是在文件系統(tǒng)中設置一個檢查點來幫助NameNode更好的工作。它不是要取代掉NameNode也不是NameNode的備份密末。所以從現(xiàn)在起握爷,讓我們養(yǎng)成一個習慣跛璧,稱呼它為檢查點節(jié)點吧。

后記

這篇文章基本上已經(jīng)清楚的介紹了Secondary NameNode的工作以及為什么要這么做新啼。最后補充一點細節(jié)追城,是關于NameNode是什么時候將改動寫到edit logs中的?這個操作實際上是由DataNode的寫操作觸發(fā)的师抄,當我們往DataNode寫文件時漓柑,DataNode會跟NameNode通信,告訴NameNode什么文件的第幾個block放在它那里叨吮,NameNode這個時候會將這些元數(shù)據(jù)信息寫到edit logs文件中辆布。

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市茶鉴,隨后出現(xiàn)的幾起案子锋玲,更是在濱河造成了極大的恐慌,老刑警劉巖涵叮,帶你破解...
    沈念sama閱讀 216,919評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件惭蹂,死亡現(xiàn)場離奇詭異,居然都是意外死亡割粮,警方通過查閱死者的電腦和手機盾碗,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,567評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來舀瓢,“玉大人廷雅,你說我怎么就攤上這事【┧瑁” “怎么了航缀?”我有些...
    開封第一講書人閱讀 163,316評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長堰怨。 經(jīng)常有香客問我芥玉,道長,這世上最難降的妖魔是什么备图? 我笑而不...
    開封第一講書人閱讀 58,294評論 1 292
  • 正文 為了忘掉前任灿巧,我火速辦了婚禮,結果婚禮上揽涮,老公的妹妹穿的比我還像新娘抠藕。我一直安慰自己,他們只是感情好绞吁,可當我...
    茶點故事閱讀 67,318評論 6 390
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著唬格,像睡著了一般家破。 火紅的嫁衣襯著肌膚如雪颜说。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,245評論 1 299
  • 那天汰聋,我揣著相機與錄音门粪,去河邊找鬼。 笑死烹困,一個胖子當著我的面吹牛玄妈,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播髓梅,決...
    沈念sama閱讀 40,120評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼拟蜻,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了枯饿?” 一聲冷哼從身側響起酝锅,我...
    開封第一講書人閱讀 38,964評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎奢方,沒想到半個月后搔扁,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,376評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡蟋字,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,592評論 2 333
  • 正文 我和宋清朗相戀三年稿蹲,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鹊奖。...
    茶點故事閱讀 39,764評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡苛聘,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出嫉入,到底是詐尸還是另有隱情焰盗,我是刑警寧澤,帶...
    沈念sama閱讀 35,460評論 5 344
  • 正文 年R本政府宣布咒林,位于F島的核電站熬拒,受9級特大地震影響,放射性物質發(fā)生泄漏垫竞。R本人自食惡果不足惜澎粟,卻給世界環(huán)境...
    茶點故事閱讀 41,070評論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望欢瞪。 院中可真熱鬧活烙,春花似錦、人聲如沸遣鼓。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,697評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽骑祟。三九已至回懦,卻和暖如春气笙,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背怯晕。 一陣腳步聲響...
    開封第一講書人閱讀 32,846評論 1 269
  • 我被黑心中介騙來泰國打工潜圃, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人舟茶。 一個月前我還...
    沈念sama閱讀 47,819評論 2 370
  • 正文 我出身青樓谭期,卻偏偏與公主長得像,于是被迫代替她去往敵國和親吧凉。 傳聞我的和親對象是個殘疾皇子隧出,可洞房花燭夜當晚...
    茶點故事閱讀 44,665評論 2 354

推薦閱讀更多精彩內(nèi)容