獨家解析 hadoop五大節(jié)點

1.NameNode(管理節(jié)點)

Namenode 管理著文件系統(tǒng)的命令空間(Namespace)。它維護著文件系統(tǒng)樹以及文件樹中所有的文件和文件夾的元數(shù)據(jù)(metadata)们何,元數(shù)據(jù)包括編輯日志(edits)和鏡像文件萄焦。管理這些信息的文件有兩個,分別是Namespace 鏡像文件(fsimage)和編輯日志文件冤竹,編輯日志主要是記錄對hdfs進行的修改拂封。鏡像文件主要是記錄hdfs的文件樹形結(jié)構(gòu)。這些信息被Cache在RAM中鹦蠕,當然冒签,這兩個文件也會被持久化存儲在本地硬盤。Namenode記錄著每個文件中各個塊所在的數(shù)據(jù)節(jié)點的位置信息钟病,但是他并不持久化存儲這些信息萧恕,因為這些信息會在系統(tǒng)啟動時從數(shù)據(jù)節(jié)點重建刚梭。

2.DataNode(工作節(jié)點)

 Datanode是文件系統(tǒng)的工作節(jié)點,他們根據(jù)客戶端或者是namenode的調(diào)度存儲和檢索數(shù)據(jù)票唆,并且定期向namenode發(fā)送他們所存儲的塊(block)的列表朴读。沒有namenode,文件系統(tǒng)是無法使用的。事實上,如果運行namenode服務的服務器壞掉,文件系統(tǒng)上的所有文件將會丟失走趋。因為我們不知道如何根據(jù)DataNode的塊進行重建文件衅金。所有對NameNode進行容錯冗余機制是非常重要的。

集群中的從節(jié)點服務器都運行一個DataNode后臺程序簿煌,這個后臺程序負責把HDFS數(shù)據(jù)塊讀寫到本地的文件系統(tǒng)氮唯。當需要通過客戶端讀/寫某個數(shù)據(jù)時,先由NameNode告訴客戶端去哪個DataNode進行具體的讀/寫操作啦吧,然后客戶端直接與這個DataNode服務器上的后臺程序進行通信您觉,并且對相關的數(shù)據(jù)塊進行讀/寫操作。

3.secondary NameNode(相當于MySQL數(shù)據(jù)庫中主從復制的從節(jié)點)

Secondary NameNode是一個用來監(jiān)控HDFS狀態(tài)的輔助后臺程序授滓。和NameNode一樣琳水,每個集群都有一個Secondary NameNode,并且部署在一個單獨的服務器上般堆。Secondary NameNode不同于NameNode在孝,它不接受或者記錄任何實時的數(shù)據(jù)變化,但是淮摔,它會與NameNode進行通信私沮,以便定期地保存HDFS元數(shù)據(jù)的快照。由于NameNode是單點的和橙,通過Secondary NameNode的快照功能仔燕,可以將NameNode的宕機時間和數(shù)據(jù)損失降低到最小。同時魔招,如果NameNode發(fā)生問題晰搀,Secondary NameNode可以及時地作為備用NameNode使用。

4.ResourceManager

 ResourceManage 即資源管理办斑,在YARN中外恕,ResourceManager負責集群中所有資源的統(tǒng)一管理和分配,它接收來自各個節(jié)點(NodeManager)的資源匯報信息乡翅,并把這些信息按照一定的策略分配給各個應用程序(實際上是ApplicationManager)鳞疲。

RM包括Scheduler(定時調(diào)度器)和ApplicationManager(應用管理器)Schedular負責向應用程序分配資源,它不做監(jiān)控以及應用程序的狀態(tài)跟蹤蠕蚜,并且不保證會重啟應用程序本身或者硬件出錯而執(zhí)行失敗的應用程序尚洽。ApplicationManager負責接受新的任務,協(xié)調(diào)并提供在ApplicationMaster容器失敗時的重啟功能.每個應用程序的AM負責項Scheduler申請資源靶累,以及跟蹤這些資源的使用情況和資源調(diào)度的監(jiān)控翎朱。
5.Nodemanager
  NM是ResourceManager在slave機器上的代理橄维,負責容器管理,并監(jiān)控它們的資源使用情況拴曲,以及向ResourceManager/Scheduler提供資源使用報告争舞。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市澈灼,隨后出現(xiàn)的幾起案子竞川,更是在濱河造成了極大的恐慌,老刑警劉巖叁熔,帶你破解...
    沈念sama閱讀 216,496評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件委乌,死亡現(xiàn)場離奇詭異,居然都是意外死亡荣回,警方通過查閱死者的電腦和手機遭贸,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,407評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來心软,“玉大人壕吹,你說我怎么就攤上這事∩玖澹” “怎么了耳贬?”我有些...
    開封第一講書人閱讀 162,632評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長猎唁。 經(jīng)常有香客問我咒劲,道長,這世上最難降的妖魔是什么诫隅? 我笑而不...
    開封第一講書人閱讀 58,180評論 1 292
  • 正文 為了忘掉前任腐魂,我火速辦了婚禮,結(jié)果婚禮上逐纬,老公的妹妹穿的比我還像新娘挤渔。我一直安慰自己,他們只是感情好风题,可當我...
    茶點故事閱讀 67,198評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著嫉父,像睡著了一般沛硅。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上绕辖,一...
    開封第一講書人閱讀 51,165評論 1 299
  • 那天摇肌,我揣著相機與錄音,去河邊找鬼仪际。 笑死围小,一個胖子當著我的面吹牛昵骤,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播肯适,決...
    沈念sama閱讀 40,052評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼变秦,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了框舔?” 一聲冷哼從身側(cè)響起蹦玫,我...
    開封第一講書人閱讀 38,910評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎刘绣,沒想到半個月后樱溉,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,324評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡纬凤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,542評論 2 332
  • 正文 我和宋清朗相戀三年福贞,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片停士。...
    茶點故事閱讀 39,711評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡挖帘,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出向瓷,到底是詐尸還是另有隱情肠套,我是刑警寧澤,帶...
    沈念sama閱讀 35,424評論 5 343
  • 正文 年R本政府宣布猖任,位于F島的核電站你稚,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏朱躺。R本人自食惡果不足惜刁赖,卻給世界環(huán)境...
    茶點故事閱讀 41,017評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望长搀。 院中可真熱鬧宇弛,春花似錦、人聲如沸源请。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,668評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽谁尸。三九已至舅踪,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間良蛮,已是汗流浹背抽碌。 一陣腳步聲響...
    開封第一講書人閱讀 32,823評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留决瞳,地道東北人货徙。 一個月前我還...
    沈念sama閱讀 47,722評論 2 368
  • 正文 我出身青樓左权,卻偏偏與公主長得像,于是被迫代替她去往敵國和親痴颊。 傳聞我的和親對象是個殘疾皇子赏迟,可洞房花燭夜當晚...
    茶點故事閱讀 44,611評論 2 353

推薦閱讀更多精彩內(nèi)容

  • 【什么是大數(shù)據(jù)、大數(shù)據(jù)技術】 大數(shù)據(jù)祷舀,又稱巨量資料瀑梗,指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無法在合理時間內(nèi)通過傳統(tǒng)的應...
    kimibob閱讀 2,743評論 0 51
  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1裳扯、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf抛丽,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,748評論 0 14
  • 二 饰豺、 HDFS體系結(jié)構(gòu) HDFS 采用的是master/slave架構(gòu)設計 , 一個HDFS集群包含一個單獨的 ...
    什么都不會的碼農(nóng)丶閱讀 1,537評論 0 1
  • 轉(zhuǎn)自:http://blog.csdn.net/gamer_gyt/article/details/5175888...
    晴天哥_王志閱讀 1,318評論 0 2
  • 簡書荒廢有近兩年亿鲜,最近發(fā)現(xiàn)一個RSS神器,所以又有了動力寫一點東西冤吨。前年關于使用RSS訂閱微信公眾號蒿柳、知乎、社交網(wǎng)...
    xzonepiece閱讀 5,960評論 2 9