大數(shù)據(jù)系列文章-Hadoop的HDFS讀寫流程(二)

在介紹HDFS讀寫流程時诱贿,先介紹下Block副本放置策略。

Block副本放置策略

  • 第一個副本:放置在上傳文件的DataNode咕缎;如果是集群外提交珠十,則隨機挑選一臺磁盤不太滿,CPU不太忙的節(jié)點凭豪。
  • 第二個副本:放置在與第一個副本不同的機架的節(jié)點上焙蹭。
  • 第三個副本:與第二個副本相同機架的節(jié)點。
  • 更多副本:隨機節(jié)點嫂伞。
HDFS副本放置策略

HDFS寫流程

HDFS寫流程
  • 客戶端發(fā)請求給NameNode孔厉,我想保存一個文件A,這時候在NameNode會有一個標識帖努,標識為A_copy(文件不可用)撰豺。
  • 根據(jù)副本放置策略,返回三個副本的可放置位置列表拼余,且默認為sort排好順序的污桦。
  • 客戶端主動去和離自己最近的DataNode連接(暫且叫DN1),然后DN1后續(xù)的DN2進行連接,DN2在和DN3進行連接匙监。(串聯(lián)方式Pipeline)
  • 客戶端讀取源文件凡橱,對該Block進行更小的切割小作,
    • 第一次:傳遞第一個Block中的第一個小包給DN1。
    • 第二次:傳遞第一個Block中的第二個小包給DN1稼钩,與此同時顾稀,DN1中的第一個小包傳遞給DN2。
    • 第三次:傳遞第一個Block中的第三個小包給DN1坝撑,與此同時础拨,DN1中的第二個小包傳遞給DN2,DN2傳遞第一個小包給DN3.
    • 依次類推

(Block切割更小的小包绍载,這里這么設計的好處是時間不重疊。如果不切滔蝉,一次性傳遞例如64M击儡,當傳遞DN1時,等待蝠引,傳遞DN2時阳谍,繼續(xù)等待,傳遞DN3時螃概,還在等矫夯,造成時間浪費。另外的一個好處時吊洼,如果增加節(jié)點训貌,時間影響不大)

  • 最后通過DataNode與NameNode心跳,通知是否文件徹底傳遞完畢冒窍,補全NameNode中元數(shù)據(jù)的位置信息递沪。

HDFS讀流程

HDFS讀流程
  • 客戶端發(fā)請求給NameNode,NameNode將這個文件的元數(shù)據(jù)找到综液,告知給客戶端(例如文件A款慨,被切割為5個Block,元文件會紀錄Block1:DN1,DN2,DN3,Block2:DN1,DN4,DN5等等依次類推)
  • 客戶端直接向DataNode請求Block數(shù)據(jù)(遵循距離優(yōu)先)
  • 當把所有的Block下載回本地后,進行驗證每個Block元信息的MD5谬莹。如果每個Block都是正確的檩奠,沒有被破壞,開始進行拼接附帽,最終文件就被還原回來了埠戳。

HDFS文件權限

  • 與Linux文件權限類似
    • r:read;w:write;x:execute
    • 權限x對應文件忽略,對于文件夾表示是否允許訪問其內容
  • 如果Linux系統(tǒng)用戶zhangyongli使用Hadoop命名創(chuàng)建一個文件士葫,那么這個文件在HDFS中owner就是zhangyongli
  • HDFS的權限目的乞而,阻止好人做錯事,而不是阻止壞人做壞事慢显。HDFS相信爪模,你告訴我你是誰欠啤,我就認為你是誰。

解釋:

  • 阻止好人做錯事:例如AB兩個用戶屋灌,A用戶創(chuàng)建了一個X文件洁段,B用戶創(chuàng)建了一個Y文件,B用戶刪除不了A用戶的文件X共郭。
  • 阻止壞人做壞事:如果AB兩個用戶中的某個壞人祠丝,裝了一臺全新的linux系統(tǒng),也創(chuàng)建AB用戶除嘹,補全Hadoop部署文件內容写半,客戶端程序,然后用新系統(tǒng)的A向NameNode去刪除X文件尉咕,由于NameNode是被動受信叠蝇,所以未來需要集成kerberos來防止這種操作。
    (轉發(fā)請注明出處:http://www.reibang.com/u/829cbce64381 如發(fā)現(xiàn)有錯年缎,請留言悔捶,謝謝)
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市单芜,隨后出現(xiàn)的幾起案子蜕该,更是在濱河造成了極大的恐慌,老刑警劉巖洲鸠,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件堂淡,死亡現(xiàn)場離奇詭異,居然都是意外死亡扒腕,警方通過查閱死者的電腦和手機淤齐,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來袜匿,“玉大人更啄,你說我怎么就攤上這事【拥疲” “怎么了祭务?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長怪嫌。 經常有香客問我义锥,道長,這世上最難降的妖魔是什么岩灭? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任拌倍,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘柱恤。我一直安慰自己数初,他們只是感情好,可當我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布梗顺。 她就那樣靜靜地躺著泡孩,像睡著了一般。 火紅的嫁衣襯著肌膚如雪寺谤。 梳的紋絲不亂的頭發(fā)上仑鸥,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天,我揣著相機與錄音变屁,去河邊找鬼眼俊。 笑死,一個胖子當著我的面吹牛粟关,可吹牛的內容都是我干的泵琳。 我是一名探鬼主播,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼誊役,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了谷市?” 一聲冷哼從身側響起蛔垢,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎迫悠,沒想到半個月后鹏漆,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡创泄,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年艺玲,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鞠抑。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡饭聚,死狀恐怖,靈堂內的尸體忽然破棺而出搁拙,到底是詐尸還是另有隱情秒梳,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布箕速,位于F島的核電站酪碘,受9級特大地震影響,放射性物質發(fā)生泄漏盐茎。R本人自食惡果不足惜兴垦,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧探越,春花似錦狡赐、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至节槐,卻和暖如春搀庶,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背铜异。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工哥倔, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人揍庄。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓咆蒿,卻偏偏與公主長得像,于是被迫代替她去往敵國和親蚂子。 傳聞我的和親對象是個殘疾皇子沃测,可洞房花燭夜當晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內容