黑猴子的家:Hadoop 中艳悔,什么是FSImage和EditsLog

我們知道HDFS是一個分布式文件存儲系統(tǒng)急凰,文件分布式存儲在多個DataNode節(jié)點上。一個文件存儲在哪些DataNode節(jié)點的哪些位置的元數(shù)據(jù)信息(metadata)由NameNode節(jié)點來處理很钓。隨著存儲文件的增多香府,NameNode上存儲的信息也會越來越多。那么HDFS是如何及時更新這些metadata的呢码倦?
  在HDFS中主要是通過兩個組件FSImage和EditsLog來實現(xiàn)metadata的更新企孩。在某次啟動HDFS時,會從FSImage文件中讀取當(dāng)前HDFS文件的metadata袁稽,之后對HDFS的操作步驟都會記錄到edit log文件中勿璃。比如下面這個操作過程

image.png

那么完整的metadata信息就應(yīng)該由FSImage文件和edit log文件組成。fsimage中存儲的信息就相當(dāng)于整個hdfs在某一時刻的一個快照推汽。
  FSImage文件和EditsLog文件可以通過ID來互相關(guān)聯(lián)补疑。在參數(shù)dfs.namenode.name.dir設(shè)置的路徑下,會保存FSImage文件和EditsLog文件歹撒,如果是QJM方式HA的話莲组,EditsLog文件保存在參數(shù)dfs.journalnode.edits.dir設(shè)置的路徑下。


image.png

在上圖中可以看到暖夭,edit log文件以edits_開頭锹杈,后面跟一個txid范圍段撵孤,并且多個edit log之間首尾相連,正在使用的edit log名字為edits_inprogress_txid竭望。該路徑下還會保存兩個fsimage文件邪码,文件格式為fsimage_txid。上圖中可以看出fsimage文件已經(jīng)加載到了最新的一個edit log文件咬清,僅僅只有inprogress狀態(tài)的edit log未被加載闭专。在啟動HDFS時,只需要讀入fsimage_0000000000000008927以及edits_inprogress_0000000000000008928就可以還原出當(dāng)前hdfs的最新狀況旧烧。
  但是這里又會出現(xiàn)一個問題影钉,如果edit log文件越來越多、越來越大時掘剪,當(dāng)重新啟動hdfs時斧拍,由于需要加載fsimage后再把所有的edit log也加載進來,就會出現(xiàn)第一段中出現(xiàn)的問題了杖小。怎么解決?HDFS會采用checkpoing機制定期將edit log合并到fsimage中生成新的fsimage愚墓。這個過程就是接下來要講的了予权。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市浪册,隨后出現(xiàn)的幾起案子扫腺,更是在濱河造成了極大的恐慌,老刑警劉巖村象,帶你破解...
    沈念sama閱讀 219,427評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件笆环,死亡現(xiàn)場離奇詭異,居然都是意外死亡厚者,警方通過查閱死者的電腦和手機躁劣,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,551評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來库菲,“玉大人账忘,你說我怎么就攤上這事∥跤睿” “怎么了鳖擒?”我有些...
    開封第一講書人閱讀 165,747評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長烫止。 經(jīng)常有香客問我蒋荚,道長,這世上最難降的妖魔是什么馆蠕? 我笑而不...
    開封第一講書人閱讀 58,939評論 1 295
  • 正文 為了忘掉前任期升,我火速辦了婚禮惊奇,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘吓妆。我一直安慰自己赊时,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,955評論 6 392
  • 文/花漫 我一把揭開白布行拢。 她就那樣靜靜地躺著祖秒,像睡著了一般。 火紅的嫁衣襯著肌膚如雪舟奠。 梳的紋絲不亂的頭發(fā)上竭缝,一...
    開封第一講書人閱讀 51,737評論 1 305
  • 那天,我揣著相機與錄音沼瘫,去河邊找鬼抬纸。 笑死,一個胖子當(dāng)著我的面吹牛耿戚,可吹牛的內(nèi)容都是我干的湿故。 我是一名探鬼主播,決...
    沈念sama閱讀 40,448評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼膜蛔,長吁一口氣:“原來是場噩夢啊……” “哼坛猪!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起皂股,我...
    開封第一講書人閱讀 39,352評論 0 276
  • 序言:老撾萬榮一對情侶失蹤墅茉,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后呜呐,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體就斤,經(jīng)...
    沈念sama閱讀 45,834評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,992評論 3 338
  • 正文 我和宋清朗相戀三年蘑辑,在試婚紗的時候發(fā)現(xiàn)自己被綠了洋机。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,133評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡洋魂,死狀恐怖槐秧,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情忧设,我是刑警寧澤刁标,帶...
    沈念sama閱讀 35,815評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站址晕,受9級特大地震影響膀懈,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜谨垃,卻給世界環(huán)境...
    茶點故事閱讀 41,477評論 3 331
  • 文/蒙蒙 一启搂、第九天 我趴在偏房一處隱蔽的房頂上張望硼控。 院中可真熱鬧,春花似錦胳赌、人聲如沸牢撼。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,022評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽熏版。三九已至,卻和暖如春捍掺,著一層夾襖步出監(jiān)牢的瞬間撼短,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,147評論 1 272
  • 我被黑心中介騙來泰國打工挺勿, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留曲横,地道東北人。 一個月前我還...
    沈念sama閱讀 48,398評論 3 373
  • 正文 我出身青樓不瓶,卻偏偏與公主長得像禾嫉,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子蚊丐,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,077評論 2 355

推薦閱讀更多精彩內(nèi)容