HDFS與LINUX文件系統(tǒng)的區(qū)別

20170831202928457.png

每個(gè)磁盤都有默認(rèn)的數(shù)據(jù)塊大小,這是磁盤進(jìn)行數(shù)據(jù)讀/寫的最小單位撒穷。而構(gòu)建于單個(gè)磁盤之上的文件系統(tǒng)(linux文件系統(tǒng))通過磁盤塊來管理該文件系統(tǒng)中的塊聋丝,該文件系統(tǒng)中的文件大小是磁盤塊的整數(shù)倍蒲犬。磁盤塊的大小一般為512字節(jié)陨收,其讀寫的最小單位是磁盤塊的最小單位.文件占用的塊由inode進(jìn)行管理,記錄該文件存放數(shù)據(jù)的N個(gè)block的物理地址没佑。

HDFS同樣也有塊的概念,HDFS文件系統(tǒng)中的塊指的是linux文件毕贼,分布式文件就是有多個(gè)linux文件(塊)組成。其最小塊單位就是一個(gè)Linux文件的大小蛤奢,默認(rèn)為64MB鬼癣,其分片成的linux文件的文件名有HDFS的namenode管理,該節(jié)點(diǎn)還管理了linux文件對應(yīng)datanode節(jié)點(diǎn)的映射關(guān)系啤贩。

假設(shè)有一個(gè)1G的大文件待秃,在linux文件系統(tǒng)上就是一個(gè)文件,由1G/512b的block組成痹屹;在HDFS上需要1024MB/64MB=16塊章郁,即16個(gè)linux文件組成,所以相當(dāng)于一個(gè)普通1G的文件分成了16個(gè)小文件志衍,在HDFS上的namenode會(huì)記錄1G文件名對應(yīng)16個(gè)文件名映射關(guān)系和16個(gè)文件名在對應(yīng)datanote節(jié)點(diǎn)上的映射關(guān)系(備份除外)暖庄。datanote節(jié)點(diǎn)上的16個(gè)小文件就是linux文件聊替,在各自datanote節(jié)點(diǎn)上的inode里記錄了16個(gè)文件對應(yīng)物理磁盤的映射關(guān)系。簡而言之:1G的分布式文件轉(zhuǎn)換成16個(gè)linux文件培廓,HDFS就是實(shí)現(xiàn)了拆分文件功能惹悄,當(dāng)然由于考慮單點(diǎn)故障原因,它把每個(gè)文件復(fù)制了3份(默認(rèn)),不管哪個(gè)節(jié)點(diǎn)出故障可以合成完整的一個(gè)1G文件肩钠。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末泣港,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子蔬将,更是在濱河造成了極大的恐慌,老刑警劉巖央星,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件霞怀,死亡現(xiàn)場離奇詭異,居然都是意外死亡莉给,警方通過查閱死者的電腦和手機(jī)毙石,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來颓遏,“玉大人徐矩,你說我怎么就攤上這事∪保” “怎么了滤灯?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長曼玩。 經(jīng)常有香客問我鳞骤,道長,這世上最難降的妖魔是什么黍判? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任豫尽,我火速辦了婚禮,結(jié)果婚禮上顷帖,老公的妹妹穿的比我還像新娘美旧。我一直安慰自己,他們只是感情好贬墩,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布榴嗅。 她就那樣靜靜地躺著,像睡著了一般陶舞。 火紅的嫁衣襯著肌膚如雪录肯。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天吊说,我揣著相機(jī)與錄音论咏,去河邊找鬼优炬。 笑死,一個(gè)胖子當(dāng)著我的面吹牛厅贪,可吹牛的內(nèi)容都是我干的蠢护。 我是一名探鬼主播,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼养涮,長吁一口氣:“原來是場噩夢啊……” “哼葵硕!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起贯吓,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤懈凹,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后悄谐,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體介评,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年爬舰,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了们陆。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,503評論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡情屹,死狀恐怖坪仇,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情垃你,我是刑警寧澤椅文,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站惜颇,受9級特大地震影響雾袱,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜官还,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一芹橡、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧望伦,春花似錦林说、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至劣摇,卻和暖如春珠移,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工钧惧, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留暇韧,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓浓瞪,卻偏偏與公主長得像懈玻,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子乾颁,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,512評論 2 359

推薦閱讀更多精彩內(nèi)容

  • 當(dāng)數(shù)據(jù)量增大到超出了單個(gè)物理計(jì)算機(jī)存儲(chǔ)容量時(shí)涂乌,有必要把它分開存儲(chǔ)在多個(gè)不同的計(jì)算機(jī)中。那些管理存儲(chǔ)在多個(gè)網(wǎng)絡(luò)互連的...
    單行線的旋律閱讀 1,924評論 0 7
  • 首先英岭,我們在使用前先看看HDFS是什麼湾盒?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,204評論 0 2
  • 1.Linux下如何用命令查看實(shí)時(shí)日志(完整命令) tail -f 路徑.log查看前多少行 tai-200f 路...
    qianyewhy閱讀 2,295評論 0 11
  • 2015年度,我國個(gè)人捐贈(zèng)總額達(dá)到169.30億元漾唉,以網(wǎng)民為代表的平民捐贈(zèng)發(fā)展迅速荧库。國內(nèi)主要的四家網(wǎng)絡(luò)募捐平臺(tái)微公...
    穎瑜閱讀 302評論 0 0
  • 今天般此,不知何從下筆,春秋戰(zhàn)國的歷史跨越550年牵现,百家爭鳴铐懊,百花齊放,可以說是中華文明的基石瞎疼,也是思想發(fā)展的巔峰時(shí)期...
    強(qiáng)哥趣談歷史閱讀 3,427評論 0 0