Hadoop hdfs

增加協(xié)調(diào)部門:協(xié)同部門可以實時收集各個倉庫的運作情況胧谈,并決策將進貨存放在哪里更為合適蒜田。

命名節(jié)點(Name Node)

在HDFS中杠袱,扮演這個角色的節(jié)點稱為命名節(jié)點(Name Node)赡茸,它維護著系統(tǒng)中的大量元數(shù)據(jù)审葬,負責管理文件系統(tǒng)的命名空間(Name Space)和控制外部的訪問森缠,包括打開拔鹰、關閉、重命名文件或目錄辅鲸,將數(shù)據(jù)塊映射到具體的數(shù)據(jù)節(jié)點等格郁。

次要命名節(jié)點(Secondary Name Node)。

隨著協(xié)同部門職能重要性的日益增加,總公司可能還會將其管理內(nèi)容進行備份例书,這就是次要命名節(jié)點(Secondary Name Node)锣尉。

次要命名節(jié)點和命名節(jié)點的區(qū)別在于,它不會與數(shù)據(jù)節(jié)點和其他任務節(jié)點溝通决采,也不接收HDFS上的任何變化記錄自沧。次要命名節(jié)點最主要的目標就是與命名節(jié)點通信,根據(jù)配置定期地獲取命名節(jié)點上的HDFS元數(shù)據(jù)快照树瞭,因此效率是非常高的拇厢。

數(shù)據(jù)節(jié)點 (Data Node)

在多個倉庫中進行備貨:意外總是會發(fā)生,為了防止意外導致缺貨的情況發(fā)生晒喷,可以采用的一項策略是將貨物存儲在多地的倉庫中孝偎。在HDFS中也有同樣的理念,這就是備份或副本(Replication)凉敲。存儲在數(shù)據(jù)節(jié)點上的數(shù)據(jù)庫可以有多個副本衣盾,并分發(fā)到其他節(jié)點上。這樣在某個數(shù)據(jù)節(jié)點上丟失的數(shù)據(jù)爷抓,可以在其他數(shù)據(jù)節(jié)點上找到并恢復势决。容錯性得以提升。通過這個案例的比喻蓝撇,也可以很容易地理解HDFS分布式文件系統(tǒng)一個重要的運用場景果复,就是與第2章中介紹的數(shù)據(jù)收集相互集成,保存互聯(lián)網(wǎng)和大型企業(yè)內(nèi)部每天產(chǎn)生的海量數(shù)據(jù)內(nèi)容渤昌。理解了這些基本的概念虽抄,我們就可以畫出圖3-2來展示HDFS的工作原理了。

image.png
最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末耘沼,一起剝皮案震驚了整個濱河市极颓,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌群嗤,老刑警劉巖菠隆,帶你破解...
    沈念sama閱讀 219,039評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異狂秘,居然都是意外死亡骇径,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,426評論 3 395
  • 文/潘曉璐 我一進店門者春,熙熙樓的掌柜王于貴愁眉苦臉地迎上來破衔,“玉大人,你說我怎么就攤上這事钱烟∥福” “怎么了嫡丙?”我有些...
    開封第一講書人閱讀 165,417評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長读第。 經(jīng)常有香客問我曙博,道長,這世上最難降的妖魔是什么怜瞒? 我笑而不...
    開封第一講書人閱讀 58,868評論 1 295
  • 正文 為了忘掉前任父泳,我火速辦了婚禮,結果婚禮上吴汪,老公的妹妹穿的比我還像新娘惠窄。我一直安慰自己,他們只是感情好漾橙,可當我...
    茶點故事閱讀 67,892評論 6 392
  • 文/花漫 我一把揭開白布杆融。 她就那樣靜靜地躺著,像睡著了一般近刘。 火紅的嫁衣襯著肌膚如雪擒贸。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,692評論 1 305
  • 那天觉渴,我揣著相機與錄音,去河邊找鬼徽惋。 笑死案淋,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的险绘。 我是一名探鬼主播踢京,決...
    沈念sama閱讀 40,416評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼宦棺!你這毒婦竟也來了瓣距?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,326評論 0 276
  • 序言:老撾萬榮一對情侶失蹤代咸,失蹤者是張志新(化名)和其女友劉穎蹈丸,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體呐芥,經(jīng)...
    沈念sama閱讀 45,782評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡逻杖,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,957評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了思瘟。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片荸百。...
    茶點故事閱讀 40,102評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖滨攻,靈堂內(nèi)的尸體忽然破棺而出够话,到底是詐尸還是另有隱情蓝翰,我是刑警寧澤,帶...
    沈念sama閱讀 35,790評論 5 346
  • 正文 年R本政府宣布女嘲,位于F島的核電站霎箍,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏澡为。R本人自食惡果不足惜漂坏,卻給世界環(huán)境...
    茶點故事閱讀 41,442評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望媒至。 院中可真熱鬧顶别,春花似錦、人聲如沸拒啰。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,996評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽谋旦。三九已至剩失,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間册着,已是汗流浹背拴孤。 一陣腳步聲響...
    開封第一講書人閱讀 33,113評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留甲捏,地道東北人演熟。 一個月前我還...
    沈念sama閱讀 48,332評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像司顿,于是被迫代替她去往敵國和親芒粹。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,044評論 2 355