大數(shù)據(jù)Hadoop 技術(shù)內(nèi)幕:深入解析 HDFS架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理

一、HDFS架構(gòu)

HDFS架構(gòu)

二逛裤、HDFS設(shè)計(jì)思想

HDFS設(shè)計(jì)思想(1)
HDFS設(shè)計(jì)思想(2)

三瘩绒、HDFS寫流程

HDFS寫流程

---Client:

·切分文件Block

·按Block線性和NN獲取DN列表(副本數(shù))

·驗(yàn)證DN列表后以更小的單位流式傳輸數(shù)據(jù)

---各節(jié)點(diǎn),兩兩通信確定可用

·Block傳輸結(jié)束后:

---DN向NN匯報Block信息

---DN向Client匯報完成

---Client向NN匯報完成

·獲取下一個Block存放的DN列表

·带族。锁荔。。蝙砌。阳堕。。

·最終Client匯報完成

·NN會在寫流程更新文件狀態(tài)

四择克、HDFS讀流程

---Client:

·和NN獲取一部分Block副本位置列表

·線性和DN獲取Block恬总,最終合并為一個文件

·在Block副本列表中按距離擇優(yōu)選取

五、HDFS文件權(quán)限POSIX

---與Linux文件權(quán)限類似

·r: read; w:write; x:execute

·權(quán)限x對于文件忽略肚邢,對于文件夾表示是否允許訪問其內(nèi)容

---如果Linux系統(tǒng)用戶zhangsan使用hadoop命令創(chuàng)建一個文件壹堰,那么這個文件在HDFS中owner就是zhangsan。

---HDFS的權(quán)限目的:阻止好人錯錯事骡湖,而不是阻止壞人做壞事贱纠。HDFS相信,你告訴我你是誰响蕴,我就認(rèn)為你是誰谆焊。

本文為原創(chuàng),禁止轉(zhuǎn)載浦夷!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末辖试,一起剝皮案震驚了整個濱河市辜王,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌罐孝,老刑警劉巖呐馆,帶你破解...
    沈念sama閱讀 219,427評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異莲兢,居然都是意外死亡摹恰,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,551評論 3 395
  • 文/潘曉璐 我一進(jìn)店門怒见,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人姑宽,你說我怎么就攤上這事遣耍。” “怎么了炮车?”我有些...
    開封第一講書人閱讀 165,747評論 0 356
  • 文/不壞的土叔 我叫張陵舵变,是天一觀的道長。 經(jīng)常有香客問我瘦穆,道長纪隙,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,939評論 1 295
  • 正文 為了忘掉前任扛或,我火速辦了婚禮绵咱,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘熙兔。我一直安慰自己悲伶,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,955評論 6 392
  • 文/花漫 我一把揭開白布住涉。 她就那樣靜靜地躺著麸锉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪舆声。 梳的紋絲不亂的頭發(fā)上花沉,一...
    開封第一講書人閱讀 51,737評論 1 305
  • 那天,我揣著相機(jī)與錄音媳握,去河邊找鬼碱屁。 笑死,一個胖子當(dāng)著我的面吹牛毙芜,可吹牛的內(nèi)容都是我干的忽媒。 我是一名探鬼主播,決...
    沈念sama閱讀 40,448評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼腋粥,長吁一口氣:“原來是場噩夢啊……” “哼晦雨!你這毒婦竟也來了架曹?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,352評論 0 276
  • 序言:老撾萬榮一對情侶失蹤闹瞧,失蹤者是張志新(化名)和其女友劉穎绑雄,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體奥邮,經(jīng)...
    沈念sama閱讀 45,834評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡万牺,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,992評論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了洽腺。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片脚粟。...
    茶點(diǎn)故事閱讀 40,133評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖蘸朋,靈堂內(nèi)的尸體忽然破棺而出核无,到底是詐尸還是另有隱情,我是刑警寧澤藕坯,帶...
    沈念sama閱讀 35,815評論 5 346
  • 正文 年R本政府宣布团南,位于F島的核電站,受9級特大地震影響炼彪,放射性物質(zhì)發(fā)生泄漏吐根。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,477評論 3 331
  • 文/蒙蒙 一辐马、第九天 我趴在偏房一處隱蔽的房頂上張望拷橘。 院中可真熱鬧,春花似錦齐疙、人聲如沸膜楷。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,022評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽赌厅。三九已至,卻和暖如春轿塔,著一層夾襖步出監(jiān)牢的瞬間特愿,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,147評論 1 272
  • 我被黑心中介騙來泰國打工勾缭, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留揍障,地道東北人。 一個月前我還...
    沈念sama閱讀 48,398評論 3 373
  • 正文 我出身青樓俩由,卻偏偏與公主長得像毒嫡,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子幻梯,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,077評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 一兜畸、目標(biāo) HDFS 全稱hadoop分布式文件系統(tǒng)努释,其最主要的作用是作為 Hadoop 生態(tài)中各系統(tǒng)的存儲服務(wù)。 ...
    Alukar閱讀 2,483評論 1 18
  • 分布式存儲系統(tǒng)HDFS(Hadoop Distributed File System)POSIX 分布式存儲系統(tǒng) ...
    壹點(diǎn)零閱讀 302評論 0 0
  • 各版本hadoop文檔地址 Hadoop的框架最核心的設(shè)計(jì)就是:HDFS(Hadoop Distributed F...
    MicoCube閱讀 993評論 0 2
  • 陌生的一起乘車 為了工作 為了家庭 為了一切 車開動咬摇,去工作 車開動伐蒂,回家 車開動,有希望
    大碴粥閱讀 90評論 0 0
  • 蝕心的世界不再有希望肛鹏,不再有微笑逸邦,也絕對不能再有,一定要記住在扰,這個世界誰也無法相信缕减,真正愛你的人是不會讓你輕易流淚...
    蝕心空竹閱讀 162評論 0 0