大數(shù)據(jù)存儲與管理
本節(jié)主要講述大數(shù)據(jù)存儲與管理技術(shù)的概念和原理，包括Hadoop分布式文件系統(tǒng)(HDFS)和分布式數(shù)據(jù)庫（Hbase）;
體系結(jié)構(gòu)：
一、分布式文件系統(tǒng)HDFS
1.HDFS體系結(jié)構(gòu)
2.HDFS存儲原理
3.HDFS編程
二登淘、分布式數(shù)據(jù)庫Hbase
1.Hbase數(shù)據(jù)模型
2.Hbase實(shí)現(xiàn)原理
3.Hbase運(yùn)行機(jī)制
4.Hbase編程
重點(diǎn)需要掌握分布式文件系統(tǒng)和分布式數(shù)據(jù)庫的實(shí)現(xiàn)原理和應(yīng)用方法瓜喇。
分布式文件系統(tǒng)HDFS
大數(shù)據(jù)時(shí)代舷胜，該如何存儲海量數(shù)據(jù)，為此三妈，谷歌公司開發(fā)了分布式文件系統(tǒng)GFS，通過網(wǎng)絡(luò)實(shí)現(xiàn)一個(gè)大文件能在多臺機(jī)器上存儲莫绣，滿足了分布式存儲需求畴蒲。
HDFS Hadoop Distributed File System 是針對GFS的開源實(shí)現(xiàn)。
Hadoop有兩大核心組件 HDFS和mapReduce对室；
本章先介紹HDFS
在平時(shí)常用的Win模燥，Linux系統(tǒng)中 文件系統(tǒng)一般會把磁盤空間劃分為512字節(jié)一組，成為磁盤塊掩宜，他是文件系統(tǒng)讀寫操作的最小單位蔫骂。 文件系統(tǒng)Block通常是磁盤塊的整數(shù)倍，每次讀寫的數(shù)據(jù)量必須是磁盤塊大小的整數(shù)倍牺汤。
在分布式文件系統(tǒng)中辽旋，也采用了這樣塊的概念。一個(gè)文件被分為很多個(gè)塊來存儲。HDFS中默認(rèn)一個(gè)塊大小是64M补胚，但是如果一個(gè)文件沒達(dá)到64M 它并不會占用整個(gè)數(shù)據(jù)塊的存儲空間码耐。
分布式文件系統(tǒng)在物理結(jié)構(gòu)上是由計(jì)算機(jī)集群中的多個(gè)節(jié)點(diǎn)組成的，這些節(jié)點(diǎn)被分為兩類
1糖儡、NameNode和2伐坏、DataNode?
NameNode 負(fù)責(zé)文件和目錄的創(chuàng)建、刪除握联、重命名等桦沉，同時(shí)也管理著數(shù)據(jù)節(jié)點(diǎn)和文件塊的映射關(guān)系，因此客戶端需要訪問名稱節(jié)點(diǎn)才能找到請求的文件塊所在的位置金闽，進(jìn)而到相應(yīng)位置讀取所需文件塊纯露。
DataNode負(fù)責(zé)數(shù)據(jù)的存儲和讀取。在存儲時(shí)由名稱節(jié)點(diǎn)分配存儲位置代芜，然后由客戶端把數(shù)據(jù)直接寫入到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)埠褪。
在讀取時(shí)候，客戶端從名稱節(jié)點(diǎn)獲得數(shù)據(jù)節(jié)點(diǎn)和文件塊的映射關(guān)系挤庇，然后可以到相應(yīng)位置訪問文件塊钞速。數(shù)據(jù)節(jié)點(diǎn)也要根據(jù)名稱節(jié)點(diǎn)的命令創(chuàng)建，刪除數(shù)據(jù)和冗余復(fù)制嫡秕。
計(jì)算機(jī)集群中的節(jié)點(diǎn)可能發(fā)生故障渴语，因此為了保證數(shù)據(jù)的完整性，分布式文件系統(tǒng)通常采用昆咽，多副本存儲驾凶。文件塊會被復(fù)制多個(gè)副本，存在不同的節(jié)點(diǎn)掷酗，單個(gè)節(jié)點(diǎn)故障時(shí)候调违，就可以快速調(diào)用副本重啟單個(gè)節(jié)點(diǎn)上的計(jì)算過程，不用重啟整個(gè)計(jì)算過程泻轰。
HDFS的相關(guān)概念
塊：
在傳統(tǒng)文件系統(tǒng)中技肩，為了提高磁盤讀寫效率，一般以數(shù)據(jù)塊為單位糕殉，而不是以字節(jié)為單位亩鬼。
比如：在機(jī)械硬盤中包含了磁頭和轉(zhuǎn)動部件，在讀取數(shù)據(jù)時(shí)候 有一個(gè)尋道的過程阿蝶，通過轉(zhuǎn)動盤片和移動磁頭的位置雳锋，來找到數(shù)據(jù)在機(jī)械師硬盤中存儲的位置，然后才能進(jìn)行讀寫羡洁。在I/O開銷中玷过，機(jī)械師硬盤的尋址時(shí)間是最耗時(shí)的部分，一旦找到第一條記錄，剩下的順序讀取效率是非常高的辛蚊。因此粤蝎，以塊為單位讀寫數(shù)據(jù)，可以把磁盤尋道時(shí)間分?jǐn)偟酱罅繑?shù)據(jù)中袋马。
HDFS也同樣采用了塊的概念初澎，默認(rèn)的一個(gè)塊大小為64MB。在HDFS中的文件會被拆分成多個(gè)塊虑凛，每個(gè)塊作為獨(dú)立的單元進(jìn)行存儲碑宴，默認(rèn)的一個(gè)塊大小是64MB。在HDFS中的文件會被拆分成為多個(gè)塊桑谍，每個(gè)塊作為獨(dú)立的單元進(jìn)行存儲延柠。我們所熟悉的普通文件系統(tǒng)的塊一般只有幾千個(gè)字節(jié)，可以看出HDFS設(shè)計(jì)中 锣披，他的塊大小遠(yuǎn)遠(yuǎn)大于普通的文件系統(tǒng)贞间，HDFS這么做，是為了最小化尋址開銷雹仿，HDFS中的尋址開銷增热，不僅包括磁盤尋址開銷，還包括數(shù)據(jù)塊定位的開銷胧辽。
名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)：
在HDFS中钓葫，NameNode 負(fù)責(zé)管理分布式文件系統(tǒng)的命名空間。保存了兩個(gè)核心的數(shù)據(jù)結(jié)構(gòu) FsImage 和EditLog.
FsImage用于維護(hù)文件系統(tǒng)樹和文件樹中所有的文件和文件夾的元數(shù)據(jù)票顾。
(包含了：
1.文件復(fù)制等級
2.修改和訪問時(shí)間
3.訪問權(quán)限
4.塊大小以及組成文件的塊
)
元數(shù)據(jù)存在內(nèi)存中，元數(shù)據(jù)中包含了以下內(nèi)容：
1.文件是什么
2.該文件被分為多少塊
3.每個(gè)塊和文件怎么映射
4.每個(gè)塊被存在哪個(gè)服務(wù)器上
這些塊放在哪里是實(shí)時(shí)存在內(nèi)存中帆调，不由FsImage保存奠骄，
由DataNode匯報(bào)給NameNode;
操作日志Editlog中記錄了所有針對文件的操作。
第二名稱節(jié)點(diǎn)：
在名稱節(jié)點(diǎn)運(yùn)行期間番刊，HDFS會不斷發(fā)生更新操作含鳞，這些更新操作都是直接被寫入到EditLog文件，因此 EditLog文件也會逐漸變大芹务。在名稱節(jié)點(diǎn)運(yùn)行期間蝉绷，不斷變大的EditLog文件通常對于文件系統(tǒng)性能不會產(chǎn)生顯著影響，但是當(dāng)名稱節(jié)點(diǎn)重啟時(shí)枣抱，需要將FsImage加載到內(nèi)存中熔吗，然后逐條執(zhí)行EditLog中的記錄，使得FsImage保持更新佳晶。
（1）EditLog和FsImage 的合并操作桅狠，每隔一段時(shí)間（默認(rèn)一小時(shí)）或EditLog中存滿100萬條數(shù)據(jù)。第二名稱節(jié)點(diǎn)就會和NameNode通信，請求其停止使用EditLog文件中跌。暫時(shí)把新的操作寫在EditLog.new中咨堤，然后第二名稱節(jié)點(diǎn)把名稱節(jié)點(diǎn)中的Edit和FsImage文件拉回本地。 再加載到內(nèi)存中漩符，對二者執(zhí)行合并操作一喘。 即在內(nèi)存中逐條執(zhí)行EditLog中的操作，使FsImage保持最新嗜暴，合并結(jié)束后凸克，第二名稱節(jié)點(diǎn)，把合并后得到的最新的FsImage文件發(fā)送到NameNode.NN收到后灼伤，會用最新的FsImage文件去替換舊的FsImage文件触徐，同時(shí)用EditLog.new文件去替換Edit文件。
(2)名稱節(jié)點(diǎn)作為“檢查點(diǎn)“ ,周期性的備份名稱節(jié)點(diǎn)中的元數(shù)據(jù)信息狐赡。當(dāng)NN故障時(shí)候撞鹉，可以用2NN中的記錄元數(shù)據(jù)信息進(jìn)行系統(tǒng)恢復(fù)。但是颖侄，在第二名稱節(jié)點(diǎn)上合并操作鸟雏，得到的新的FsImage文件是合并操作發(fā)生時(shí)HDFS記錄元數(shù)據(jù)信息，但是會丟失掉览祖，合并期間部分信息孝鹊。
