WHAT
HDFS:分布式文件系統(tǒng)
Feather:
- 檢測和快速自動恢復(fù)
- 支持大文件存儲
- 對文件實(shí)行一次寫入殖侵、多次讀取的訪問模式
Drawback:
- 延遲高(對于低延遲的訪問需求竿音,可以使用HBase)
- 無法高效存儲大量小文件
- 不支持修改文件,只能執(zhí)行追加操作
Structure:
-
NameNode:管理文件系統(tǒng)的命名空間惹盼,維護(hù)文件系統(tǒng)樹、所有文件惫确、目錄以及塊的元數(shù)據(jù)手报,元數(shù)據(jù)有兩種namespace image和edit log。
namenode擁有block和datanode之間的映射關(guān)系改化,但是它并不持久化這些信息掩蛤,這些信息來源依賴于datanode啟動時(shí)向namenode發(fā)送的報(bào)告。 - SecondaryNameNode:輔助的NameNode所袁,周期性的將edit log文件合并(HDFS的HA機(jī)制)
- DataNode :datanode維護(hù)著最終的block盏档,并定期向namenode發(fā)送該datanode包含的block列表(心跳機(jī)制)。
WHERE
HOW
- hadoop fs -ls : 查看HDFS下的文件列表
- hadoop fs -mkdir:創(chuàng)建目錄
- hadoop fs -put:上傳文件
- hadoop fs -get:下載文件到本地
- hadoop fs -cat:查看文件內(nèi)容
- hadoop fs -rm:刪除文件