對未來真正的慷慨署隘，是把一切獻(xiàn)給現(xiàn)在
NameNode和SecondaryNameNode工作機(jī)制
第一階段：NameNode啟動(dòng)
（1）第一次啟動(dòng)NameNode格式化后府树，創(chuàng)建Fsimage和Edits文件皮钠。如果不是第一次啟動(dòng)怕享，直接加載編輯日志和鏡像文件到內(nèi)存。
Fsimage文件（鏡像文件）：HDFS文件系統(tǒng)元數(shù)據(jù)的一個(gè)永久性的檢查點(diǎn)，其中包含HDFS文件系統(tǒng)的所有目錄和文件idnode的序列化信息调炬。
Edits文件（編輯日志）：存放HDFS文件系統(tǒng)的所有更新操作的路徑，文件系統(tǒng)客戶端執(zhí)行的所有寫操作首先會(huì)被記錄到edits文件中司抱。
（2）客戶端對元數(shù)據(jù)進(jìn)行增刪改的請求筐眷。
（3）NameNode記錄操作日志，更新滾動(dòng)日志习柠。
【日志是為了到時(shí)候重啟的時(shí)候恢復(fù)HDFS】
【可以手動(dòng)滾動(dòng)日志 hdfs dfsadmin -rollEdits】
（4）NameNode在內(nèi)存中對數(shù)據(jù)進(jìn)行增刪改匀谣。
第二階段：Secondary NameNode工作
（1）Secondary NameNode詢問NameNode是否需要CheckPoint。直接帶回NameNode是否檢查結(jié)果资溃。
（2）Secondary NameNode請求執(zhí)行CheckPoint武翎。
（3）NameNode滾動(dòng)正在寫的Edits日志。
（4）將滾動(dòng)前的編輯日志和鏡像文件拷貝到Secondary NameNode溶锭。
（5）Secondary NameNode加載編輯日志和鏡像文件到內(nèi)存宝恶，并合并。
（6）生成新的鏡像文件fsimage.chkpoint趴捅。
（7）拷貝fsimage.chkpoint到NameNode垫毙。
（8）NameNode將fsimage.chkpoint重新命名成fsimage。
? 由于Edits中記錄的操作會(huì)越來越多拱绑，Edits文件會(huì)越來越大综芥，導(dǎo)致NameNode在啟動(dòng)加載Edits時(shí)會(huì)很慢，所以需要對Edits和Fsimage進(jìn)行合并（所謂合并猎拨，就是將Edits和Fsimage加載到內(nèi)存中膀藐，照著Edits中的操作一步步執(zhí)行，最終形成新的Fsimage）红省。SecondaryNameNode的作用就是幫助NameNode進(jìn)行Edits和Fsimage的合并工作额各。
? SecondaryNameNode首先會(huì)詢問NameNode是否需要CheckPoint（觸發(fā)CheckPoint需要滿足兩個(gè)條件中的任意一個(gè)，定時(shí)時(shí)間到和Edits中數(shù)據(jù)寫滿了）吧恃。直接帶回NameNode是否檢查結(jié)果虾啦。SecondaryNameNode執(zhí)行CheckPoint操作，首先會(huì)讓NameNode滾動(dòng)Edits并生成一個(gè)空的edits.inprogress痕寓，滾動(dòng)Edits的目的是給Edits打個(gè)標(biāo)記缸逃，以后所有新的操作都寫入edits.inprogress，其他未合并的Edits和Fsimage會(huì)拷貝到SecondaryNameNode的本地厂抽，然后將拷貝的Edits和Fsimage加載到內(nèi)存中進(jìn)行合并需频，生成fsimage.chkpoint，然后將fsimage.chkpoint拷貝給NameNode筷凤，重命名為Fsimage后替換掉原來的Fsimage昭殉。NameNode在啟動(dòng)時(shí)就只需要加載之前未合并的Edits和Fsimage即可苞七，因?yàn)楹喜⑦^的Edits中的元數(shù)據(jù)信息已經(jīng)被記錄在Fsimage中。
Fsimage鏡像文件和Edits編輯日志解析
oiv查看Fsimage鏡像文件
使用oiv命令挪丢，語法如下:
hdfs oiv -p 文件類型 -i鏡像文件 -o 轉(zhuǎn)換后文件輸出路徑
hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.2/fsimage.xml
oev查看Edits編輯日志文件
使用oev命令蹂风，語法如下：
hdfs oev -p 文件類型 -i編輯日志 -o 轉(zhuǎn)換后文件輸出路徑
hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.2/edits.xml
CheckPoint時(shí)間設(shè)置
觸發(fā)SecondaryNameNode執(zhí)行checkpoint保存數(shù)據(jù)的條件有兩種：時(shí)間和次數(shù)
【1】通常SNN每隔一小時(shí)執(zhí)行一次，配置hdfs-default.xml
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>3600</value>
</property >
【2】當(dāng)操作次數(shù)達(dá)到100完次時(shí)候
<property>
<name>dfs.namenode.checkpoint.txns</name>
<value>1000000</value>
<description>操作動(dòng)作次數(shù)</description>
</property>
<property>
<name>dfs.namenode.checkpoint.check.period</name>
<value>60</value>
<description> 1分鐘檢查一次操作次數(shù)</description>
</property >
相關(guān)資料
本文配套GitHub：https://github.com/zhutiansama/FocusBigData
