一、HDFS架構(gòu)
HDFS架構(gòu)
二逛裤、HDFS設(shè)計(jì)思想
HDFS設(shè)計(jì)思想(1)
HDFS設(shè)計(jì)思想(2)
三瘩绒、HDFS寫流程
HDFS寫流程
---Client:
·切分文件Block
·按Block線性和NN獲取DN列表(副本數(shù))
·驗(yàn)證DN列表后以更小的單位流式傳輸數(shù)據(jù)
---各節(jié)點(diǎn),兩兩通信確定可用
·Block傳輸結(jié)束后:
---DN向NN匯報Block信息
---DN向Client匯報完成
---Client向NN匯報完成
·獲取下一個Block存放的DN列表
·带族。锁荔。。蝙砌。阳堕。。
·最終Client匯報完成
·NN會在寫流程更新文件狀態(tài)
四择克、HDFS讀流程
---Client:
·和NN獲取一部分Block副本位置列表
·線性和DN獲取Block恬总,最終合并為一個文件
·在Block副本列表中按距離擇優(yōu)選取
五、HDFS文件權(quán)限POSIX
---與Linux文件權(quán)限類似
·r: read; w:write; x:execute
·權(quán)限x對于文件忽略肚邢,對于文件夾表示是否允許訪問其內(nèi)容
---如果Linux系統(tǒng)用戶zhangsan使用hadoop命令創(chuàng)建一個文件壹堰,那么這個文件在HDFS中owner就是zhangsan。
---HDFS的權(quán)限目的:阻止好人錯錯事骡湖,而不是阻止壞人做壞事贱纠。HDFS相信,你告訴我你是誰响蕴,我就認(rèn)為你是誰谆焊。
本文為原創(chuàng),禁止轉(zhuǎn)載浦夷!