目錄
1含蓉、為什么需要分布式文件系統(tǒng)
2、HDFS對(duì)文件的讀取方式：流處理訪問(wèn)模式
3、HDFS對(duì)文件的存儲(chǔ)和校驗(yàn)方式：分片冗余存儲(chǔ)
4低斋、HDFS對(duì)文件的校驗(yàn)方式：本地校驗(yàn)
5赃春、HDFS的概念
6愉择、HDFS的關(guān)鍵運(yùn)作機(jī)制
7、如何使用HDFS
HDFS作為Hadoop的核心部分织中，是Hadoop中MapReduce框架的存儲(chǔ)層锥涕。
1、為什么需要分布式文件系統(tǒng)
當(dāng)文件的大小超過(guò)了單臺(tái)計(jì)算機(jī)的存儲(chǔ)能力時(shí)狭吼，就需要將其分區(qū)存儲(chǔ)在不同單獨(dú)的計(jì)算機(jī)上层坠。
- 文件系統(tǒng)的三個(gè)主要組成部分：被管理的文件、文件管理相關(guān)軟件刁笙、實(shí)施文件管理所需要的數(shù)據(jù)結(jié)構(gòu)
- 將文件分布式存儲(chǔ)后帶來(lái)的問(wèn)題：文件不完整破花，系統(tǒng)復(fù)雜度加大谦趣，引入網(wǎng)絡(luò)編程
2、HDFS對(duì)文件的讀取方式：流處理訪問(wèn)模式
什么是流處理訪問(wèn)模式呢座每？為什么分布式文件系統(tǒng)場(chǎng)景下這種文件訪問(wèn)模式更合適前鹅？
操作系統(tǒng)中文件訪問(wèn)方式有好幾種，常見的是隨機(jī)數(shù)據(jù)訪問(wèn)方式峭梳，這種方式要求文件定位舰绘、查詢或者修改數(shù)據(jù)的延遲比較小，比較適合常見數(shù)據(jù)后多次查詢葱椭、讀寫的場(chǎng)景捂寿，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)非常符合這一點(diǎn)。
大數(shù)據(jù)場(chǎng)景與關(guān)系系數(shù)據(jù)庫(kù)的場(chǎng)景有非常大的不同孵运。大數(shù)據(jù)的數(shù)據(jù)源通常由源生成或從數(shù)據(jù)源直接復(fù)制而來(lái)者蠕，接著長(zhǎng)時(shí)間在此數(shù)據(jù)集上進(jìn)行各類分析，不需要搬來(lái)搬去掐松；這種數(shù)據(jù)訪問(wèn)場(chǎng)景是典型的一次寫入踱侣，多次讀取的場(chǎng)景（寫入數(shù)據(jù)只需要生成數(shù)據(jù)的那一次，基本沒(méi)有修改數(shù)據(jù)的要求大磺，后面就是多次讀取以分析）抡句，所以這種場(chǎng)景下的數(shù)據(jù)訪問(wèn)方式更適合采用流處理方式。
流處理數(shù)據(jù)訪問(wèn)方式試磁盤尋址開銷最小化：只需要一次尋址（起始地址）杠愧，然后就是連續(xù)的流式讀取待榔。硬盤的物理構(gòu)造導(dǎo)致尋址開銷的優(yōu)化跟不上讀取開銷，所以流式讀取更加適合硬盤的本身特性流济，當(dāng)然大文件的特點(diǎn)也更適合流式讀取锐锣。
HDFS是用流處理方式處理文件糖声，每個(gè)文件在系統(tǒng)里都能找到它的本地化映像斤彼，所以對(duì)于用戶來(lái)說(shuō)，不用關(guān)心文件是什么格式的蘸泻，也不用在意被分到哪里琉苇，只管從HDFS里取出就可以了。
3悦施、HDFS對(duì)文件的存儲(chǔ)方式：分片冗余存儲(chǔ)
- 壓縮存儲(chǔ)
先說(shuō)一說(shuō)壓縮存儲(chǔ)并扇。
在存儲(chǔ)資源無(wú)法滿足數(shù)據(jù)量增長(zhǎng)時(shí)，需要對(duì)數(shù)據(jù)壓縮后再存儲(chǔ)抡诞，重復(fù)數(shù)據(jù)刪除技術(shù)是無(wú)損壓縮的技術(shù)之一穷蛹，它的基本原理是對(duì)目標(biāo)文件分塊渗勘，然后以塊為單位進(jìn)行重復(fù)內(nèi)容的比對(duì)，若發(fā)現(xiàn)內(nèi)容相同的數(shù)據(jù)塊俩莽，只在存儲(chǔ)介質(zhì)上存放一份，并記錄相關(guān)邏輯關(guān)系乔遮，從而減少實(shí)際存儲(chǔ)開銷扮超。
這種數(shù)據(jù)壓縮方式影響數(shù)據(jù)的安全性和可用性，如下圖：
數(shù)據(jù)單元2只屬于文件C蹋肮，因此數(shù)據(jù)單元2故障只會(huì)影響文件C出刷；而數(shù)據(jù)單元5同時(shí)屬于4個(gè)文件，它故障了會(huì)同時(shí)影響4個(gè)文件不能正常使用坯辩。
- 冗余存儲(chǔ)
為了保證分布式存儲(chǔ)后的文件具有高可用性馁龟，采用冗余存儲(chǔ)這種容錯(cuò)策略。常用的方法是數(shù)據(jù)復(fù)制技術(shù)漆魔、糾刪碼技術(shù)坷檩。
/ 數(shù)據(jù)復(fù)制技術(shù) /
數(shù)據(jù)復(fù)制技術(shù)是副本冗余策略，對(duì)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)塊進(jìn)行多處副本保存（存儲(chǔ)開銷相對(duì)較大）改抡。
就數(shù)據(jù)而言矢炼，HDFS采用每份數(shù)據(jù)3副本的方式，保證某些數(shù)據(jù)損失之后仍能繼續(xù)使用阿纤。
/ 糾刪碼技術(shù) /
數(shù)據(jù)的容錯(cuò)除了副本還有另一種做法句灌，就是把丟失的數(shù)據(jù)計(jì)算出來(lái)。這就是糾刪碼的思想了欠拾。與副本相比胰锌，糾刪碼的優(yōu)點(diǎn)在于節(jié)省存儲(chǔ)空間，缺點(diǎn)在于有計(jì)算開銷而且修復(fù)需要一定時(shí)間藐窄，而副本損失只要復(fù)制出來(lái)?yè)p失的數(shù)據(jù)资昧，未損失的數(shù)據(jù)可以繼續(xù)提供服務(wù)。
簡(jiǎn)單原理：糾刪碼（erasure coding荆忍，EC）技術(shù)是將數(shù)據(jù)塊分為m個(gè)數(shù)據(jù)塊榛搔，然后通過(guò)編碼冗余擴(kuò)展至n個(gè)數(shù)據(jù)塊（n>m），這n個(gè)數(shù)據(jù)塊中有 k=n-m 個(gè)是校驗(yàn)塊东揣，如果m個(gè)數(shù)據(jù)塊中任意一個(gè)丟失了践惑，可以通過(guò)k個(gè)校驗(yàn)塊計(jì)算恢復(fù)出來(lái)，這也是一種冗余存儲(chǔ)策略嘶卧，不過(guò)相比副本技術(shù)而言更佳節(jié)省存儲(chǔ)空間 [4]尔觉。
糾刪碼可以用于有大量數(shù)據(jù)和任何需要容錯(cuò)的應(yīng)用程序或系統(tǒng)中，比如磁盤陣列系統(tǒng)芥吟、數(shù)據(jù)網(wǎng)格侦铜、分布式存儲(chǔ)應(yīng)用程序专甩、對(duì)象存儲(chǔ)或歸檔存儲(chǔ)。目前钉稍，糾刪碼的一個(gè)常見的使用案例是基于對(duì)象的云存儲(chǔ)涤躲。
4、HDFS對(duì)文件的校驗(yàn)方式：分片冗余贡未，本地校驗(yàn)
分布式文件系統(tǒng)負(fù)責(zé)數(shù)據(jù)分布存儲(chǔ)和數(shù)據(jù)管理种樱，并提供對(duì)數(shù)據(jù)高吞吐量訪問(wèn)的性能。主要功能除了讀寫操作之外俊卤，還有一個(gè)就是數(shù)據(jù)校驗(yàn)功能嫩挤，此功能在數(shù)據(jù)讀寫過(guò)程中都會(huì)運(yùn)用到。它是數(shù)據(jù)完整性的良好保障消恍。分布式文件系統(tǒng)在讀寫數(shù)據(jù)時(shí)讀取一個(gè)文件塊可能由于存儲(chǔ)設(shè)備岂昭、網(wǎng)絡(luò)或者軟件的缺陷等原因而出現(xiàn)損壞的情況。對(duì)于大數(shù)據(jù)處理狠怨，原本復(fù)雜繁重的計(jì)算任務(wù)再加上數(shù)據(jù)校驗(yàn)過(guò)程會(huì)給分布式文件系統(tǒng)帶來(lái)額外負(fù)擔(dān)约啊，讀寫速率也會(huì)隨之有所下降，這就需要建立一個(gè)完整的體系佣赖，在保證數(shù)據(jù)完整的情況下盡量減小因?yàn)閿?shù)據(jù)校驗(yàn)而給系統(tǒng)帶來(lái)的影響棍苹。
HDFS的解決方案是分片冗余，本地校驗(yàn)茵汰；數(shù)據(jù)冗余式存儲(chǔ)枢里，直接將多份的分片文件交給分片后的存儲(chǔ)服務(wù)器去校驗(yàn)；冗余后的分片文件還有個(gè)額外功能蹂午，只要冗余的分片文件中有一份是完整的栏豺，經(jīng)過(guò)多次協(xié)同調(diào)整后，其他分片文件也將完整豆胸。
DFS通過(guò)CheckSum和DataBlockScanner兩種方式同時(shí)來(lái)保證保存在數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)時(shí)完整的奥洼。HDFS中的DataNode在本地文件系統(tǒng)存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)用于CRC校驗(yàn)。對(duì)于每一個(gè)塊晚胡，向DataNode請(qǐng)求checksum信息灵奖，返回的信息中包括塊的所有checksum的MD5摘要，如果向一個(gè)DataNode請(qǐng)求失敗估盘，會(huì)向另一DataNode請(qǐng)求瓷患，最后將所有塊的MD5合并，并計(jì)算這些內(nèi)容的MD5摘要遣妥。[5]
5擅编、HDFS的概念
HDFS可以用下面這個(gè)抽象圖的具體實(shí)現(xiàn)：
何為元數(shù)據(jù)
元數(shù)據(jù)是用于描述要素、數(shù)據(jù)集或數(shù)據(jù)集系列的內(nèi)容、覆蓋范圍爱态、質(zhì)量谭贪、管理方式、數(shù)據(jù)的所有者锦担、數(shù)據(jù)的提供方式等有關(guān)的信息俭识。更簡(jiǎn)單的說(shuō)，是關(guān)于數(shù)據(jù)的數(shù)據(jù)洞渔。
塊與塊大小的設(shè)置
塊是文件存儲(chǔ)處理的邏輯單元套媚。
磁盤存儲(chǔ)文件時(shí)，是按照數(shù)據(jù)塊來(lái)存儲(chǔ)的痘煤，也就是說(shuō)，數(shù)據(jù)塊是磁盤的讀/寫最小單位猿规。數(shù)據(jù)塊也稱磁盤塊衷快。構(gòu)建于單個(gè)磁盤上的文件系統(tǒng)是通過(guò)磁盤塊來(lái)管理文件系統(tǒng)，一般來(lái)說(shuō)姨俩，文件系統(tǒng)塊的大小是磁盤塊的整數(shù)倍蘸拔。特別的，單個(gè)磁盤文件系統(tǒng)环葵，小于磁盤塊的文件會(huì)占用整個(gè)磁盤塊调窍。磁盤塊的大小一般是512字節(jié)。
在HDFS中张遭，也有塊（block）這個(gè)概念邓萨，默認(rèn)為64MB，每個(gè)塊作為獨(dú)立的存儲(chǔ)單元菊卷。
與其他文件系統(tǒng)不一樣缔恳，HDFS中每個(gè)小于塊大小的文件不會(huì)占據(jù)整個(gè)塊的空間。
HDFS為什么使用大塊
（1）減少NameNode的壓力
NameNode用來(lái)存儲(chǔ)hdfs上文件的元數(shù)據(jù)信息洁闰，如果是小文件歉甚，會(huì)導(dǎo)致產(chǎn)生大量的元數(shù)據(jù)信息。HDFS中每個(gè)文件扑眉、目錄和數(shù)據(jù)塊的存儲(chǔ)信息大約在150字節(jié)纸泄，如果大量小文件會(huì)導(dǎo)致NameNode內(nèi)存不夠用。-
（2）最小化尋址時(shí)間
如果塊設(shè)置的足夠大腰素，從磁盤傳輸數(shù)據(jù)的時(shí)間會(huì)明顯大于定位這個(gè)塊開始位置所需要的時(shí)間聘裁，因而，傳輸一個(gè)由多塊組成的文件時(shí)間取決于傳輸速率（尋址時(shí)間可忽略不計(jì)）弓千。T(存儲(chǔ)時(shí)間)=T(定位時(shí)間)+T(傳輸時(shí)間) 如果每個(gè)要傳輸?shù)膲K設(shè)置得足夠大咧虎，那么從磁盤傳輸數(shù)據(jù)的時(shí)間可以明顯大于定位這個(gè)塊開始位置的時(shí)間 T(存儲(chǔ)時(shí)間)=T(定位時(shí)間) )[-∞]+T(傳輸時(shí)間)[∞] 近似等于：T(存儲(chǔ)時(shí)間)=T(傳輸時(shí)間)
如果我們?cè)O(shè)置的塊過(guò)小，那么一個(gè)文件就是產(chǎn)生很多的塊计呈，當(dāng)我們要對(duì)塊進(jìn)行操作的時(shí)候砰诵，就會(huì)產(chǎn)生好多次的尋址征唬，這樣就導(dǎo)致了尋址的時(shí)間會(huì)很長(zhǎng)。
當(dāng)尋址時(shí)間比io還長(zhǎng)的時(shí)候茁彭，尋址時(shí)間就成為了瓶頸总寒。所以，合理設(shè)置大小能提高吞吐量理肺。
- （3）塊的大小也不合適太大
HDFS提供給MapReduce數(shù)據(jù)服務(wù)摄闸，而一般來(lái)說(shuō)MapReduce的Map任務(wù)通常一次處理一個(gè)塊中的數(shù)據(jù)，如果任務(wù)數(shù)太少（少于集群中節(jié)點(diǎn)的數(shù)量）妹萨，就沒(méi)有發(fā)揮多節(jié)點(diǎn)的優(yōu)勢(shì)年枕，甚至作業(yè)的運(yùn)行速度就會(huì)和單節(jié)點(diǎn)一樣，如果塊設(shè)置的太大乎完，就無(wú)法充分利用并行的特性熏兄。
分布式的文件抽象能夠帶來(lái)的優(yōu)勢(shì)
- 一個(gè)文件可以大于每個(gè)磁盤
- 文件不用全在一個(gè)磁盤上
- 簡(jiǎn)化了存儲(chǔ)子系統(tǒng)的設(shè)計(jì)
- 基于元數(shù)據(jù)塊的存儲(chǔ)方式非常適合用于備份，利用備份可提供數(shù)據(jù)容錯(cuò)能力和可用性
HDFS中的兩類節(jié)點(diǎn)（node）
NameNode
是管理節(jié)點(diǎn)树姨，存放文件元數(shù)據(jù)：
（1）文件與數(shù)據(jù)塊的映射表
（2）數(shù)據(jù)塊與數(shù)據(jù)結(jié)點(diǎn)的映射表
客戶端讀取數(shù)據(jù)之前摩桶，先從NameNode中讀取元數(shù)據(jù)，從而得知文件存放在那些DataNode上的帽揪，再?gòu)臄?shù)據(jù)節(jié)點(diǎn)中拿到數(shù)據(jù)塊硝清，拼裝成想要的文件。DataNode
是工作節(jié)點(diǎn)转晰，存放數(shù)據(jù)塊心跳檢測(cè)
NameNode和DataNode之間有心跳協(xié)議芦拿，DataNode定期向NameNode匯報(bào)自身狀況，是否處于active狀態(tài)查邢、網(wǎng)絡(luò)是否正常防嗡、機(jī)器是否正常運(yùn)行Secondary NameNode（二級(jí)NameNode）
二級(jí)NameNode并不是NameNode的備份，定期同步元數(shù)據(jù)映像文件（fsimage）和修改日志（edit logs）的侠坎，詳見：Secondary NameNode:它究竟有什么作用蚁趁？
Secondary NameNode的整個(gè)目的是在HDFS中提供一個(gè)檢查點(diǎn)。它只是NameNode的一個(gè)助手節(jié)點(diǎn)实胸。這也是它在社區(qū)內(nèi)被認(rèn)為是檢查點(diǎn)節(jié)點(diǎn)的原因他嫡。
HDFS中文件讀寫的流程
讀文件流程
（1）客戶端（java/shell/...）發(fā)起文件讀取請(qǐng)求，將文件名庐完、路徑告知NameNode钢属；
（2）NameNode查詢并返回元數(shù)據(jù)給客戶端，包括該文件在哪些塊中门躯、這些快要在哪些機(jī)器中的哪些DataNode中去找淆党；
（3）客戶端根據(jù)信息去讀block，將block下載下來(lái)后進(jìn)行組裝，讀取完成染乌。
寫文件流程
（1）將文件拆分成塊（固定大小64M）山孔，通知NameNode；
（2）NameNode將當(dāng)前可用并且大小符合的DataNode信息返回荷憋；
（3）客戶端將blocks寫入相應(yīng)的DataNode台颠；
（4）block寫入后進(jìn)行流水線復(fù)制；
（5）更新元數(shù)據(jù)勒庄；
（6）每次寫一個(gè)block
6串前、HDFS的關(guān)鍵運(yùn)作機(jī)制
HDFS是基于主從結(jié)構(gòu)（master/slaver）構(gòu)件。
7实蔽、如何使用HDFS
HDFS是在安裝hadoop-0.20.2.tar.gz并成功配置后即可使用荡碾。無(wú)論是使用shell腳本，或者使用WEB UI進(jìn)行操作局装，使用前必須得明白HDFS的配置坛吁，便于存儲(chǔ)操作或者操作優(yōu)化。
常用HDFS命令：參見《HDFS API操作實(shí)踐》贼邓、《HDFS的常用操作》
官方文檔（version：2.7.3）：
HDFS Commands Reference
File System Shell Guide
# lists the commands supported by Hadoop shell
$bin/hdfs dfs -help
# displays more detailed help for a command
$bin/hdfs dfs -help command-name
bin/hadoop fs <==> bin/hdfs dfs
hadoop fs
This command is documented in the File System Shell Guide. It is a synonym for hdfs dfs
when HDFS is in use（當(dāng)HDFS在使用時(shí)阶冈，hadoop fs和hdfs dfs 是“同義詞”）.
$hadoop fs -ls /
$hadoop fs -put <file> <dest>
$hadoop fs -mkdir <file>
$...
HDFS Commands Guide
Overview
User Commandsclasspath
dfs
fetchdt
fsck
getconf
groups
lsSnapshottableDir
jmxget
oev
oiv
oiv_legacy
snapshotDiff
version
Administration Commandsbalancer
cacheadmin
crypto
datanode
dfsadmin
haadmin
journalnode
mover
namenode
nfs3
portmap
secondarynamenode
storagepolicies
zkfc
Debug Commandsverify
recoverLease
參考資料：
[1] HDFS為什么使用大塊闷尿，如64MB塑径，以及推薦流方式訪問(wèn)文件
[2] 操作系統(tǒng)訪問(wèn)文件的方式
[3] 宮斌 . 武漢大學(xué) . 分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)冗余策略
[4] 分布式系統(tǒng)下的糾刪碼技術(shù)（一） -- Erasure Code (EC)
[5] 景蕊 . 吉林大學(xué) . 分布式文件系統(tǒng)下數(shù)據(jù)校驗(yàn)策略的研究與改進(jìn)
