HDFS的寫數(shù)據(jù)流程
1）客戶端通過DistributedFileSystem模塊想NameNode請(qǐng)求上傳文件缘厢，NameNode檢查目標(biāo)文件是否存在根蟹，父目錄是否存在璧榄。
2）NameNode返回是否可以上傳
3）客戶端請(qǐng)求第一個(gè)Block上傳到那幾個(gè)DataNode服務(wù)器上
4）NameNode返回3哥DataNode節(jié)點(diǎn)嫉父，分別為dn1壶冒、dn2富俄、dn3
5）客戶端通過FSDataOutputStream模塊請(qǐng)求dn1上傳數(shù)據(jù)禁炒，dn1收到請(qǐng)求會(huì)繼續(xù)吊用dn2，然后dn2調(diào)用dn3霍比，將這個(gè)通信管道建立完成
6）dn1幕袱、dn2、dn3逐級(jí)應(yīng)答客戶端
7）客戶端開始往dn1上傳第一個(gè)Block（先從磁盤讀取數(shù)據(jù)放到一個(gè)本地內(nèi)存緩存）悠瞬，以Packet為單位们豌，dn1收到一個(gè)Packet就會(huì)傳給dn2，dn2傳給dn3浅妆；dn1每傳一個(gè)package都會(huì)放入一個(gè)應(yīng)答隊(duì)列等待應(yīng)答望迎。
8）當(dāng)一個(gè)Block傳輸完成之后，客戶端再次請(qǐng)求NameNode上傳第二個(gè)Block的服務(wù)器（重復(fù)執(zhí)行3～7步）凌外。
網(wǎng)絡(luò)拓?fù)?節(jié)點(diǎn)距離計(jì)算
在HDFS寫數(shù)據(jù)過程中辩尊，NameNode會(huì)選擇距離上傳數(shù)據(jù)最近距離的DataNode接收數(shù)據(jù)。
節(jié)點(diǎn)距離：兩個(gè)節(jié)點(diǎn)到達(dá)最近的公共祖先的距離總和康辑。
機(jī)架感知-副本存儲(chǔ)節(jié)點(diǎn)選擇
第一個(gè)副本在Client所處的節(jié)點(diǎn)上摄欲，如果客戶在集群外，隨機(jī)選一個(gè)疮薇。
第一個(gè)副本保證速度：
第二個(gè)副本在另一個(gè)機(jī)架的隨機(jī)一個(gè)節(jié)點(diǎn)胸墙。
第二個(gè)副本保證可靠性：
第三個(gè)副本在第二個(gè)副本所在機(jī)架的隨機(jī)節(jié)點(diǎn)。
第三個(gè)副本保證可靠性同時(shí)考慮速度按咒。
Crtl + n 查找BlockPlacementPolicyDefault迟隅，在該類中查找chooseTargetInOrder方法。該類在hadoop-hafs對(duì)應(yīng)jar包励七。
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>3.1.3</version>
</dependency>
HDFS的讀數(shù)據(jù)流程
1）客戶端通過DistributedFileSystem向NameNode請(qǐng)求下載數(shù)據(jù)智袭，NameNode通過查詢元數(shù)據(jù)，找到文件塊所在的DataNode地址掠抬。
2）挑選一臺(tái)DataNode（就近原則补履，然后隨機(jī)）服務(wù)器，請(qǐng)求讀取數(shù)據(jù)剿另。
3）DataNode開始傳輸數(shù)據(jù)給客戶端（從磁盤里面讀取數(shù)據(jù)輸入流，以Packet為單位來做檢驗(yàn)）。
4）客戶端以Packrt為單位接受雨女，先在本地緩存谚攒，然后寫入目標(biāo)文件。
小結(jié)
本節(jié)是hdfs屬于重點(diǎn)理解部分氛堕，注意寫入數(shù)據(jù)是找到一個(gè)dn1節(jié)點(diǎn)馏臭，dn1一方面將數(shù)據(jù)同步到磁盤，另一方面將數(shù)據(jù)傳給后面dn2讼稚；另外要注意的是hdfs的讀數(shù)據(jù)流程是串行讀括儒；另外一個(gè)怎樣選擇節(jié)點(diǎn)（同一機(jī)器，同一機(jī)架锐想，同一網(wǎng)絡(luò)）帮寻。
