1：NameNode
2：SecondNameNode
3：DataNode
4：ResourceManager
5：NodeManager
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
參考博客：
http://dongxicheng.org/mapreduce-nextgen/nodemanager-architecture/
http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-infrastructure/
http://www.aboutyun.com/thread-7778-1-1.html
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Namenode 管理者文件系統(tǒng)的Namespace岖是。它維護著文件系統(tǒng)樹(filesystem tree)以及文件樹中所有的文件和文件夾的元數(shù)據(jù)(metadata)佑力。管理這些信息的文件有兩個筛武，分別是Namespace 鏡像文件(Namespace image)和操作日志文件(edit log)，這些信息被Cache在RAM中冬念，當然湾盗，這兩個文件也會被持久化存儲在本地硬盤眷细。Namenode記錄著每個文件中各個塊所在的數(shù)據(jù)節(jié)點的位置信息，但是他并不持久化存儲這些信息尘执，因為這些信息會在系統(tǒng)啟動時從數(shù)據(jù)節(jié)點重建舍哄。
Namenode結(jié)構(gòu)圖課抽象為如圖：
客戶端(client)代表用戶與namenode和datanode交互來訪問整個文件系統(tǒng)√芏В客戶端提供了一些列的文件系統(tǒng)接口表悬，因此我們在編程時，幾乎無須知道datanode和namenode丧靡，即可完成我們所需要的功能蟆沫。
1.1Namenode容錯機制
沒有Namenode，HDFS就不能工作温治。事實上饭庞，如果運行namenode的機器壞掉的話，系統(tǒng)中的文件將會完全丟失熬荆，因為沒有其他方法能夠?qū)⑽挥诓煌琩atanode上的文件塊(blocks)重建文件舟山。因此，namenode的容錯機制非常重要惶看，Hadoop提供了兩種機制捏顺。
第一種方式是將持久化存儲在本地硬盤的文件系統(tǒng)元數(shù)據(jù)備份。hadoop可以通過配置來讓Namenode將他的持久化狀態(tài)文件寫到不同的文件系統(tǒng)中纬黎。這種寫操作是同步并且是原子化的幅骄。比較常見的配置是在將持久化狀態(tài)寫到本地硬盤的同時，也寫入到一個遠程掛載的網(wǎng)絡文件系統(tǒng)本今。
第二種方式是運行一個輔助的Namenode(Secondary Namenode)拆座。 事實上Secondary Namenode并不能被用作Namenode它的主要作用是定期的將Namespace鏡像與操作日志文件(edit log)合并，以防止操作日志文件(edit log)變得過大冠息。通常挪凑，Secondary Namenode 運行在一個單獨的物理機上，因為合并操作需要占用大量的CPU時間以及和Namenode相當?shù)膬?nèi)存逛艰。輔助Namenode保存著合并后的Namespace鏡像的一個備份躏碳，萬一哪天Namenode宕機了，這個備份就可以用上了散怖。
但是輔助Namenode總是落后于主Namenode菇绵，所以在Namenode宕機時肄渗，數(shù)據(jù)丟失是不可避免的。在這種情況下咬最，一般的翎嫡，要結(jié)合第一種方式中提到的遠程掛載的網(wǎng)絡文件系統(tǒng)(NFS)中的Namenode的元數(shù)據(jù)文件來使用，把NFS中的Namenode元數(shù)據(jù)文件永乌，拷貝到輔助Namenode惑申，并把輔助Namenode作為主Namenode來運行。
當然在hadoop 2.x 中翅雏，已經(jīng)有了新的解決方案圈驼，那就是NameNode HA(因為Hadoop還包括 ResourceManage HA)，hadoop聯(lián)邦枚荣， Hadoop HA是指同時啟動兩個NameNode碗脊，一個處于工作狀態(tài)，另外一個處于隨時待命狀態(tài)橄妆，這樣在處于工作狀態(tài)的NameNode所在的服務器宕機時衙伶，可在數(shù)據(jù)不丟失的情況下，手工或者自動切換到另外一個NameNode提供服務害碾。
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Datanode是文件系統(tǒng)的工作節(jié)點，他們根據(jù)客戶端或者是namenode的調(diào)度存儲和檢索數(shù)據(jù)慌随，并且定期向namenode發(fā)送他們所存儲的塊(block)的列表芬沉。
集群中的每個服務器都運行一個DataNode后臺程序，這個后臺程序負責把HDFS數(shù)據(jù)塊讀寫到本地的文件系統(tǒng)阁猜。當需要通過客戶端讀/寫某個 數(shù)據(jù)時丸逸，先由NameNode告訴客戶端去哪個DataNode進行具體的讀/寫操作，然后剃袍，客戶端直接與這個DataNode服務器上的后臺程序進行通 信黄刚，并且對相關(guān)的數(shù)據(jù)塊進行讀/寫操作。
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
另外一篇關(guān)于Secondary NameNode 的博客憔维，描述的也十分清晰：點擊閱讀
Secondary??NameNode是一個用來監(jiān)控HDFS狀態(tài)的輔助后臺程序。就想NameNode一樣畏邢，每個集群都有一個Secondary??NameNode业扒，并且部署在一個單獨的服務器上。Secondary??NameNode不同于NameNode舒萎，它不接受或者記錄任何實時的數(shù)據(jù)變化程储，但是，它會與NameNode進行通信，以便定期地保存HDFS元數(shù)據(jù)的 快照章鲤。由于NameNode是單點的致板，通過Secondary??NameNode的快照功能，可以將NameNode的宕機時間和數(shù)據(jù)損失降低到最小咏窿。同時，如果NameNode發(fā)生問題素征，Secondary??NameNode可以及時地作為備用NameNode使用集嵌。
3.1NameNode的目錄結(jié)構(gòu)如下：
${dfs.name.dir}/current/VERSION
/edits
/fsimage
/fstime
3.2Secondary NameNode的目錄結(jié)構(gòu)如下：
${fs.checkpoint.dir}/current/VERSION
/edits
/fsimage
/fstime
/previous.checkpoint/VERSION
/edits
/fsimage
/fstime
如上圖，Secondary NameNode主要是做Namespace image和Edit log合并的御毅。
那么這兩種文件是做什么的根欧？當客戶端執(zhí)行寫操作，則NameNode會在edit log記錄下來端蛆，（我感覺這個文件有些像Oracle的online redo logo file）并在內(nèi)存中保存一份文件系統(tǒng)的元數(shù)據(jù)凤粗。
Namespace image（fsimage）文件是文件系統(tǒng)元數(shù)據(jù)的持久化檢查點，不會在寫操作后馬上更新今豆，因為fsimage寫非常慢（這個有比較像datafile）嫌拣。
由于Edit log不斷增長，在NameNode重啟時呆躲，會造成長時間NameNode處于安全模式异逐，不可用狀態(tài)，是非常不符合Hadoop的設計初衷插掂。所以要周期性合并Edit log灰瞻，但是這個工作由NameNode來完成，會占用大量資源辅甥，這樣就出現(xiàn)了Secondary NameNode酝润，它可以進行image檢查點的處理工作。步驟如下：
（1）? ?? ? Secondary NameNode請求NameNode進行edit log的滾動（即創(chuàng)建一個新的edit log）璃弄，將新的編輯操作記錄到新生成的edit log文件要销；
（2）? ?? ? 通過http get方式，讀取NameNode上的fsimage和edits文件谢揪，到Secondary NameNode上蕉陋；
（3）? ?? ? 讀取fsimage到內(nèi)存中，即加載fsimage到內(nèi)存拨扶，然后執(zhí)行edits中所有操作（類似OracleDG凳鬓，應用redo log），并生成一個新的fsimage文件患民，即這個檢查點被創(chuàng)建缩举；
（4）? ?? ? 通過http post方式，將新的fsimage文件傳送到NameNode；
（5）? ?? ? NameNode使用新的fsimage替換原來的fsimage文件仅孩，讓（1）創(chuàng)建的edits替代原來的edits文件托猩；并且更新fsimage文件的檢查點時間。
整個處理過程完成辽慕。
Secondary NameNode的處理京腥，是將fsimage和edites文件周期的合并，不會造成nameNode重啟時造成長時間不可訪問的情況溅蛉。
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
ResourceManage 即資源管理，在YARN中船侧，ResourceManager負責集群中所有資源的統(tǒng)一管理和分配欠气，它接收來自各個節(jié)點（NodeManager）的資源匯報信息，并把這些信息按照一定的策略分配給各個應用程序（實際上是ApplicationManager）镜撩。
RM包括Scheduler（定時調(diào)度器）和ApplicationManager（應用管理器）预柒。Schedular負責向應用程序分配資源，它不做監(jiān)控以及應用程序的狀態(tài)跟蹤袁梗，并且不保證會重啟應用程序本身或者硬件出錯而執(zhí)行失敗的應用程序宜鸯。ApplicationManager負責接受新的任務，協(xié)調(diào)并提供在ApplicationMaster容器失敗時的重啟功能围段。
這里簡單介紹以下ApplicationMaster顾翼，每個應用程序的AM負責項Scheduler申請資源，以及跟蹤這些資源的使用情況和資源調(diào)度的監(jiān)控
更多關(guān)于ResourceManager的介紹參考：點擊閱讀
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
NM是ResourceManager在每臺機器上的代理适贸，負責容器管理，并監(jiān)控它們的資源使用情況涝桅，以及向ResourceManager/Scheduler提供資源使用報告
