轉(zhuǎn)自：http://blog.csdn.net/gamer_gyt/article/details/51758881
參考博客：
http://dongxicheng.org/mapreduce-nextgen/nodemanager-architecture/
http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-infrastructure/
http://www.aboutyun.com/thread-7778-1-1.html
Namenode 管理者文件系統(tǒng)的Namespace上炎。它維護(hù)著文件系統(tǒng)樹(filesystem tree)以及文件樹中所有的文件和文件夾的元數(shù)據(jù)(metadata)。管理這些信息的文件有兩個(gè)雏搂，分別是Namespace 鏡像文件(Namespace image)和操作日志文件(edit log)，這些信息被Cache在RAM中寇损，當(dāng)然凸郑，這兩個(gè)文件也會(huì)被持久化存儲(chǔ)在本地硬盤。Namenode記錄著每個(gè)文件中各個(gè)塊所在的數(shù)據(jù)節(jié)點(diǎn)的位置信息，但是他并不持久化存儲(chǔ)這些信息，因?yàn)檫@些信息會(huì)在系統(tǒng)啟動(dòng)時(shí)從數(shù)據(jù)節(jié)點(diǎn)重建施敢。
Namenode結(jié)構(gòu)圖課抽象為如圖：
客戶端(client)代表用戶與namenode和datanode交互來(lái)訪問(wèn)整個(gè)文件系統(tǒng)氮惯。客戶端提供了一些列的文件系統(tǒng)接口毫深，因此我們?cè)诰幊虝r(shí)，幾乎無(wú)須知道datanode和namenode，即可完成我們所需要的功能歌憨。
1.1Namenode容錯(cuò)機(jī)制
沒(méi)有Namenode，HDFS就不能工作墩衙。事實(shí)上务嫡，如果運(yùn)行namenode的機(jī)器壞掉的話甲抖，系統(tǒng)中的文件將會(huì)完全丟失，因?yàn)闆](méi)有其他方法能夠?qū)⑽挥诓煌琩atanode上的文件塊(blocks)重建文件心铃。因此准谚，namenode的容錯(cuò)機(jī)制非常重要，Hadoop提供了兩種機(jī)制去扣。
第一種方式是將持久化存儲(chǔ)在本地硬盤的文件系統(tǒng)元數(shù)據(jù)備份柱衔。hadoop可以通過(guò)配置來(lái)讓Namenode將他的持久化狀態(tài)文件寫到不同的文件系統(tǒng)中。這種寫操作是同步并且是原子化的愉棱。比較常見(jiàn)的配置是在將持久化狀態(tài)寫到本地硬盤的同時(shí)秀存，也寫入到一個(gè)遠(yuǎn)程掛載的網(wǎng)絡(luò)文件系統(tǒng)。
第二種方式是運(yùn)行一個(gè)輔助的Namenode(Secondary Namenode)羽氮。 事實(shí)上Secondary Namenode并不能被用作Namenode它的主要作用是定期的將Namespace鏡像與操作日志文件(edit log)合并或链，以防止操作日志文件(edit log)變得過(guò)大。通常档押，Secondary Namenode 運(yùn)行在一個(gè)單獨(dú)的物理機(jī)上澳盐，因?yàn)楹喜⒉僮餍枰加么罅康腃PU時(shí)間以及和Namenode相當(dāng)?shù)膬?nèi)存。輔助Namenode保存著合并后的Namespace鏡像的一個(gè)備份令宿，萬(wàn)一哪天Namenode宕機(jī)了叼耙，這個(gè)備份就可以用上了。
但是輔助Namenode總是落后于主Namenode粒没，所以在Namenode宕機(jī)時(shí)筛婉，數(shù)據(jù)丟失是不可避免的。在這種情況下癞松，一般的爽撒，要結(jié)合第一種方式中提到的遠(yuǎn)程掛載的網(wǎng)絡(luò)文件系統(tǒng)(NFS)中的Namenode的元數(shù)據(jù)文件來(lái)使用，把NFS中的Namenode元數(shù)據(jù)文件响蓉，拷貝到輔助Namenode硕勿，并把輔助Namenode作為主Namenode來(lái)運(yùn)行。
當(dāng)然在hadoop 2.x 中枫甲，已經(jīng)有了新的解決方案源武，那就是NameNode HA(因?yàn)镠adoop還包括 ResourceManage HA)，hadoop聯(lián)邦想幻， Hadoop HA是指同時(shí)啟動(dòng)兩個(gè)NameNode粱栖，一個(gè)處于工作狀態(tài)，另外一個(gè)處于隨時(shí)待命狀態(tài)脏毯，這樣在處于工作狀態(tài)的NameNode所在的服務(wù)器宕機(jī)時(shí)闹究，可在數(shù)據(jù)不丟失的情況下，手工或者自動(dòng)切換到另外一個(gè)NameNode提供服務(wù)抄沮。
Datanode是文件系統(tǒng)的工作節(jié)點(diǎn)岖瑰，他們根據(jù)客戶端或者是namenode的調(diào)度存儲(chǔ)和檢索數(shù)據(jù)，并且定期向namenode發(fā)送他們所存儲(chǔ)的塊(block)的列表砂代。
集群中的每個(gè)服務(wù)器都運(yùn)行一個(gè)DataNode后臺(tái)程序蹋订，這個(gè)后臺(tái)程序負(fù)責(zé)把HDFS數(shù)據(jù)塊讀寫到本地的文件系統(tǒng)。當(dāng)需要通過(guò)客戶端讀/寫某個(gè) 數(shù)據(jù)時(shí)刻伊，先由NameNode告訴客戶端去哪個(gè)DataNode進(jìn)行具體的讀/寫操作露戒，然后，客戶端直接與這個(gè)DataNode服務(wù)器上的后臺(tái)程序進(jìn)行通 信捶箱，并且對(duì)相關(guān)的數(shù)據(jù)塊進(jìn)行讀/寫操作智什。
另外一篇關(guān)于Secondary NameNode 的博客丁屎，描述的也十分清晰：點(diǎn)擊閱讀
Secondary??NameNode是一個(gè)用來(lái)監(jiān)控HDFS狀態(tài)的輔助后臺(tái)程序荠锭。就想NameNode一樣，每個(gè)集群都有一個(gè)Secondary??NameNode晨川，并且部署在一個(gè)單獨(dú)的服務(wù)器上证九。Secondary??NameNode不同于NameNode，它不接受或者記錄任何實(shí)時(shí)的數(shù)據(jù)變化共虑，但是愧怜，它會(huì)與NameNode進(jìn)行通信，以便定期地保存HDFS元數(shù)據(jù)的 快照妈拌。由于NameNode是單點(diǎn)的拥坛，通過(guò)Secondary??NameNode的快照功能，可以將NameNode的宕機(jī)時(shí)間和數(shù)據(jù)損失降低到最小尘分。同時(shí)猜惋，如果NameNode發(fā)生問(wèn)題，Secondary??NameNode可以及時(shí)地作為備用NameNode使用音诫。
3.1NameNode的目錄結(jié)構(gòu)如下：
${dfs.name.dir}/current/VERSION
/edits
/fsimage
/fstime
3.2Secondary NameNode的目錄結(jié)構(gòu)如下：
${fs.checkpoint.dir}/current/VERSION
/edits
/fsimage
/fstime
/previous.checkpoint/VERSION
/edits
/fsimage
/fstime
如上圖惨奕，Secondary NameNode主要是做Namespace image和Edit log合并的。
那么這兩種文件是做什么的竭钝？當(dāng)客戶端執(zhí)行寫操作，則NameNode會(huì)在edit log記錄下來(lái)雹洗，（我感覺(jué)這個(gè)文件有些像Oracle的online redo logo file）并在內(nèi)存中保存一份文件系統(tǒng)的元數(shù)據(jù)香罐。
Namespace image（fsimage）文件是文件系統(tǒng)元數(shù)據(jù)的持久化檢查點(diǎn)，不會(huì)在寫操作后馬上更新时肿，因?yàn)閒simage寫非常慢（這個(gè)有比較像datafile）庇茫。
由于Edit log不斷增長(zhǎng)，在NameNode重啟時(shí)螃成，會(huì)造成長(zhǎng)時(shí)間NameNode處于安全模式旦签，不可用狀態(tài)查坪，是非常不符合Hadoop的設(shè)計(jì)初衷。所以要周期性合并Edit log宁炫，但是這個(gè)工作由NameNode來(lái)完成偿曙，會(huì)占用大量資源，這樣就出現(xiàn)了Secondary NameNode羔巢，它可以進(jìn)行image檢查點(diǎn)的處理工作望忆。步驟如下：
（1）? ?? ? Secondary NameNode請(qǐng)求NameNode進(jìn)行edit log的滾動(dòng)（即創(chuàng)建一個(gè)新的edit log），將新的編輯操作記錄到新生成的edit log文件竿秆；
（2）? ?? ? 通過(guò)http get方式启摄，讀取NameNode上的fsimage和edits文件，到Secondary NameNode上幽钢；
（3）? ?? ? 讀取fsimage到內(nèi)存中歉备，即加載fsimage到內(nèi)存，然后執(zhí)行edits中所有操作（類似OracleDG匪燕，應(yīng)用redo log）蕾羊，并生成一個(gè)新的fsimage文件，即這個(gè)檢查點(diǎn)被創(chuàng)建谎懦；
（4）? ?? ? 通過(guò)http post方式肚豺，將新的fsimage文件傳送到NameNode；
（5）? ?? ? NameNode使用新的fsimage替換原來(lái)的fsimage文件界拦，讓（1）創(chuàng)建的edits替代原來(lái)的edits文件吸申；并且更新fsimage文件的檢查點(diǎn)時(shí)間。
整個(gè)處理過(guò)程完成享甸。
Secondary NameNode的處理截碴，是將fsimage和edites文件周期的合并，不會(huì)造成nameNode重啟時(shí)造成長(zhǎng)時(shí)間不可訪問(wèn)的情況蛉威。
ResourceManage 即資源管理，在YARN中蚯嫌，ResourceManager負(fù)責(zé)集群中所有資源的統(tǒng)一管理和分配哲虾，它接收來(lái)自各個(gè)節(jié)點(diǎn)（NodeManager）的資源匯報(bào)信息，并把這些信息按照一定的策略分配給各個(gè)應(yīng)用程序（實(shí)際上是ApplicationManager）择示。
RM包括Scheduler（定時(shí)調(diào)度器）和ApplicationManager（應(yīng)用管理器）束凑。Schedular負(fù)責(zé)向應(yīng)用程序分配資源，它不做監(jiān)控以及應(yīng)用程序的狀態(tài)跟蹤栅盲，并且不保證會(huì)重啟應(yīng)用程序本身或者硬件出錯(cuò)而執(zhí)行失敗的應(yīng)用程序汪诉。ApplicationManager負(fù)責(zé)接受新的任務(wù)，協(xié)調(diào)并提供在ApplicationMaster容器失敗時(shí)的重啟功能谈秫。
這里簡(jiǎn)單介紹以下ApplicationMaster扒寄，每個(gè)應(yīng)用程序的AM負(fù)責(zé)項(xiàng)Scheduler申請(qǐng)資源鱼鼓，以及跟蹤這些資源的使用情況和資源調(diào)度的監(jiān)控
更多關(guān)于ResourceManager的介紹參考：點(diǎn)擊閱讀
NM是ResourceManager在每臺(tái)機(jī)器上的代理该编，負(fù)責(zé)容器管理迄本，并監(jiān)控它們的資源使用情況，以及向ResourceManager/Scheduler提供資源使用報(bào)告
更多詳細(xì)的架構(gòu)分析請(qǐng)參考：點(diǎn)擊閱讀
