hadoop之HDFS

HDFS基礎(chǔ):

分布式文件系統(tǒng)徐钠,適合一次寫入戳粒,多次讀出的場景毙籽,適合用來做數(shù)據(jù)分析

HDFS的組成架構(gòu):

Namenode:是master洞斯,存儲元數(shù)據(jù)信息,配置副本策略坑赡,處理客戶端的請求烙如,
DataNode:是slave 存儲實際數(shù)據(jù),執(zhí)行數(shù)據(jù)的讀寫操作毅否,
Secondary namenode:輔助namenode亚铁,定期合并鏡像文件和日志文件,并推送給namenode;在緊急情況下螟加,可以用來恢復(fù)namenode

HDFS 文件塊大信且纭:(面試重點(diǎn))

Hadoop2默認(rèn)大小是128M,hadoop1默認(rèn)大小是64M捆探,
原因:尋址時間大約是10ms甸昏,尋址時間為傳輸時間的1%時認(rèn)為是最佳狀態(tài),所以傳輸時間10ms/0.01=1s,而且當(dāng)前磁盤的傳輸速率大約100M/s 徐许,所以塊大小就是128M
【參數(shù)優(yōu)先級】客戶端代碼中設(shè)置的值 > classPath下的用戶自定義配置文件 > 服務(wù)器默認(rèn)配置值
HDFS寫數(shù)據(jù)流程:(面試重點(diǎn))


3.png

HDSF讀數(shù)據(jù)流程:(面試重點(diǎn))

4.png

Namenode的工作機(jī)制:(面試重點(diǎn))


5.png

DataNode工作機(jī)制:(面試重點(diǎn))


6.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末施蜜,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子雌隅,更是在濱河造成了極大的恐慌翻默,老刑警劉巖缸沃,帶你破解...
    沈念sama閱讀 206,968評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異修械,居然都是意外死亡趾牧,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,601評論 2 382
  • 文/潘曉璐 我一進(jìn)店門肯污,熙熙樓的掌柜王于貴愁眉苦臉地迎上來翘单,“玉大人,你說我怎么就攤上這事蹦渣『逦撸” “怎么了?”我有些...
    開封第一講書人閱讀 153,220評論 0 344
  • 文/不壞的土叔 我叫張陵柬唯,是天一觀的道長认臊。 經(jīng)常有香客問我,道長锄奢,這世上最難降的妖魔是什么失晴? 我笑而不...
    開封第一講書人閱讀 55,416評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮拘央,結(jié)果婚禮上涂屁,老公的妹妹穿的比我還像新娘。我一直安慰自己灰伟,他們只是感情好拆又,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,425評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著袱箱,像睡著了一般。 火紅的嫁衣襯著肌膚如雪义矛。 梳的紋絲不亂的頭發(fā)上发笔,一...
    開封第一講書人閱讀 49,144評論 1 285
  • 那天,我揣著相機(jī)與錄音凉翻,去河邊找鬼了讨。 笑死,一個胖子當(dāng)著我的面吹牛制轰,可吹牛的內(nèi)容都是我干的前计。 我是一名探鬼主播,決...
    沈念sama閱讀 38,432評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼垃杖,長吁一口氣:“原來是場噩夢啊……” “哼男杈!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起调俘,我...
    開封第一講書人閱讀 37,088評論 0 261
  • 序言:老撾萬榮一對情侶失蹤伶棒,失蹤者是張志新(化名)和其女友劉穎旺垒,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體肤无,經(jīng)...
    沈念sama閱讀 43,586評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡先蒋,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,028評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了宛渐。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片竞漾。...
    茶點(diǎn)故事閱讀 38,137評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖窥翩,靈堂內(nèi)的尸體忽然破棺而出业岁,到底是詐尸還是另有隱情,我是刑警寧澤鳍烁,帶...
    沈念sama閱讀 33,783評論 4 324
  • 正文 年R本政府宣布叨襟,位于F島的核電站,受9級特大地震影響幔荒,放射性物質(zhì)發(fā)生泄漏糊闽。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,343評論 3 307
  • 文/蒙蒙 一爹梁、第九天 我趴在偏房一處隱蔽的房頂上張望右犹。 院中可真熱鬧,春花似錦姚垃、人聲如沸念链。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,333評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽掂墓。三九已至,卻和暖如春看成,著一層夾襖步出監(jiān)牢的瞬間君编,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,559評論 1 262
  • 我被黑心中介騙來泰國打工川慌, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留吃嘿,地道東北人。 一個月前我還...
    沈念sama閱讀 45,595評論 2 355
  • 正文 我出身青樓梦重,卻偏偏與公主長得像兑燥,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子琴拧,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,901評論 2 345

推薦閱讀更多精彩內(nèi)容

  • 目錄一 HDFS概念1.概念2.組成3 HDFS 文件塊大小二.HDFS命令行操作1.基本語法2.參數(shù)大全3.常用...
    Movle閱讀 1,624評論 0 5
  • Hadoop分布式文件系統(tǒng)(HDFS)是一種分布式文件系統(tǒng)降瞳。它與現(xiàn)有的分布式文件系統(tǒng)有許多相似之處。但是蚓胸,與其他分...
    逍遙ii閱讀 1,140評論 3 20
  • 1 HDFS 概述 1.1 HDFS 產(chǎn)出背景及定義 隨著數(shù)據(jù)量越來越大力崇,在一個操作系統(tǒng)存不下所有的數(shù)據(jù)斗塘,那么就分...
    djm猿閱讀 388評論 0 0
  • 第1章 HDFS概述 1.1 HDFS定義 HDFS(Hadoop distributed System),它是一...
    白紙糊閱讀 366評論 0 0
  • hdfs是什么? 問題: 1. hdfs是基于什么樣的原理將文件分塊存儲到分布式環(huán)境中的各個設(shè)備上的? 2. h...
    4762d2980c91閱讀 4,716評論 0 6