HDFS個人學(xué)習(xí)總結(jié)

WHAT

HDFS:分布式文件系統(tǒng)

Feather:
  • 檢測和快速自動恢復(fù)
  • 支持大文件存儲
  • 對文件實(shí)行一次寫入殖侵、多次讀取的訪問模式
Drawback:
  • 延遲高(對于低延遲的訪問需求竿音,可以使用HBase)
  • 無法高效存儲大量小文件
  • 不支持修改文件,只能執(zhí)行追加操作
Structure:
  • NameNode:管理文件系統(tǒng)的命名空間惹盼,維護(hù)文件系統(tǒng)樹、所有文件惫确、目錄以及塊的元數(shù)據(jù)手报,元數(shù)據(jù)有兩種namespace image和edit log。
    namenode擁有block和datanode之間的映射關(guān)系改化,但是它并不持久化這些信息掩蛤,這些信息來源依賴于datanode啟動時(shí)向namenode發(fā)送的報(bào)告。
  • SecondaryNameNode:輔助的NameNode所袁,周期性的將edit log文件合并(HDFS的HA機(jī)制)
  • DataNode :datanode維護(hù)著最終的block盏档,并定期向namenode發(fā)送該datanode包含的block列表(心跳機(jī)制)。
HDFS架構(gòu)

WHERE

整個工作流上的位置

HOW

  • hadoop fs -ls : 查看HDFS下的文件列表
  • hadoop fs -mkdir:創(chuàng)建目錄
  • hadoop fs -put:上傳文件
  • hadoop fs -get:下載文件到本地
  • hadoop fs -cat:查看文件內(nèi)容
  • hadoop fs -rm:刪除文件
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末燥爷,一起剝皮案震驚了整個濱河市蜈亩,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌前翎,老刑警劉巖稚配,帶你破解...
    沈念sama閱讀 211,817評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異港华,居然都是意外死亡道川,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評論 3 385
  • 文/潘曉璐 我一進(jìn)店門立宜,熙熙樓的掌柜王于貴愁眉苦臉地迎上來冒萄,“玉大人,你說我怎么就攤上這事橙数∽鹆鳎” “怎么了?”我有些...
    開封第一講書人閱讀 157,354評論 0 348
  • 文/不壞的土叔 我叫張陵灯帮,是天一觀的道長崖技。 經(jīng)常有香客問我,道長钟哥,這世上最難降的妖魔是什么迎献? 我笑而不...
    開封第一講書人閱讀 56,498評論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮腻贰,結(jié)果婚禮上吁恍,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好践盼,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評論 6 386
  • 文/花漫 我一把揭開白布鸦采。 她就那樣靜靜地躺著,像睡著了一般咕幻。 火紅的嫁衣襯著肌膚如雪渔伯。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,829評論 1 290
  • 那天肄程,我揣著相機(jī)與錄音锣吼,去河邊找鬼。 笑死蓝厌,一個胖子當(dāng)著我的面吹牛玄叠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播拓提,決...
    沈念sama閱讀 38,979評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼双抽,長吁一口氣:“原來是場噩夢啊……” “哼津函!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,722評論 0 266
  • 序言:老撾萬榮一對情侶失蹤睬棚,失蹤者是張志新(化名)和其女友劉穎锰霜,沒想到半個月后蚓挤,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體思犁,經(jīng)...
    沈念sama閱讀 44,189評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評論 2 327
  • 正文 我和宋清朗相戀三年歉摧,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了艇肴。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,654評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡叁温,死狀恐怖再悼,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情膝但,我是刑警寧澤冲九,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站锰镀,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏咖刃。R本人自食惡果不足惜泳炉,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望嚎杨。 院中可真熱鬧花鹅,春花似錦、人聲如沸枫浙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至真友,卻和暖如春黄痪,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背盔然。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評論 1 266
  • 我被黑心中介騙來泰國打工桅打, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人愈案。 一個月前我還...
    沈念sama閱讀 46,382評論 2 360
  • 正文 我出身青樓挺尾,卻偏偏與公主長得像,于是被迫代替她去往敵國和親站绪。 傳聞我的和親對象是個殘疾皇子遭铺,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評論 2 349

推薦閱讀更多精彩內(nèi)容

  • 首先,我們在使用前先看看HDFS是什麼恢准?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得魂挂。 HDFS采用mast...
    W_Bousquet閱讀 4,181評論 0 2
  • HDFS的設(shè)計(jì)目標(biāo) 通過上一篇文章的介紹我們已經(jīng)了解到HDFS到底是怎樣的東西,以及它是怎樣通過多副本機(jī)制來提供高...
    陌上疏影涼閱讀 1,440評論 0 3
  • 題記:正值學(xué)校運(yùn)動會假期顷歌,想吸收點(diǎn)新鮮的血液锰蓬。心血來潮搭了個hadoop的偽分布式,了解了下HDFS眯漩。 HDFS簡...
    朱曉飛閱讀 777評論 0 0
  • 先思考問題 我們處在一個大數(shù)據(jù)的時(shí)代已經(jīng)是不爭的事實(shí)芹扭,這主要表現(xiàn)在數(shù)據(jù)源多且大,如互聯(lián)網(wǎng)數(shù)據(jù)赦抖,人們也認(rèn)識到數(shù)據(jù)里往...
    墻角兒的花閱讀 7,353評論 0 9
  • 翻譯自:原文舱卡。 大多數(shù)的開發(fā)者在使用Gralde時(shí)都選擇使用Gradle Wrapper。這非常好队萤,因?yàn)槭褂肎ra...
    aicaprio閱讀 718評論 0 1