大數(shù)據(jù)存儲與管理
本節(jié)主要講述大數(shù)據(jù)存儲與管理技術(shù)的概念和原理,包括Hadoop分布式文件系統(tǒng)(HDFS)和分布式數(shù)據(jù)庫(Hbase);
體系結(jié)構(gòu):
一、分布式文件系統(tǒng)HDFS
1.HDFS體系結(jié)構(gòu)
2.HDFS存儲原理
3.HDFS編程
二登淘、分布式數(shù)據(jù)庫Hbase
1.Hbase數(shù)據(jù)模型
2.Hbase實(shí)現(xiàn)原理
3.Hbase運(yùn)行機(jī)制
4.Hbase編程
重點(diǎn)需要掌握分布式文件系統(tǒng)和分布式數(shù)據(jù)庫的實(shí)現(xiàn)原理和應(yīng)用方法瓜喇。
分布式文件系統(tǒng)HDFS
大數(shù)據(jù)時(shí)代舷胜,該如何存儲海量數(shù)據(jù),為此三妈,谷歌公司開發(fā)了分布式文件系統(tǒng)GFS,通過網(wǎng)絡(luò)實(shí)現(xiàn)一個(gè)大文件能在多臺機(jī)器上存儲莫绣,滿足了分布式存儲需求畴蒲。
HDFS Hadoop Distributed File System 是針對GFS的開源實(shí)現(xiàn)。
Hadoop有兩大核心組件 HDFS和mapReduce对室;
本章先介紹HDFS
在平時(shí)常用的Win模燥,Linux系統(tǒng)中 文件系統(tǒng)一般會把磁盤空間劃分為512字節(jié)一組,成為磁盤塊掩宜,他是文件系統(tǒng)讀寫操作的最小單位蔫骂。 文件系統(tǒng)Block通常是磁盤塊的整數(shù)倍,每次讀寫的數(shù)據(jù)量必須是磁盤塊大小的整數(shù)倍牺汤。
在分布式文件系統(tǒng)中辽旋,也采用了這樣塊的概念。一個(gè)文件被分為很多個(gè)塊來存儲。HDFS中默認(rèn)一個(gè)塊大小是64M补胚,但是如果一個(gè)文件沒達(dá)到64M 它并不會占用整個(gè)數(shù)據(jù)塊的存儲空間码耐。
分布式文件系統(tǒng)在物理結(jié)構(gòu)上是由計(jì)算機(jī)集群中的多個(gè)節(jié)點(diǎn)組成的,這些節(jié)點(diǎn)被分為兩類
1糖儡、NameNode和2伐坏、DataNode?
NameNode 負(fù)責(zé)文件和目錄的創(chuàng)建、刪除握联、重命名等桦沉,同時(shí)也管理著數(shù)據(jù)節(jié)點(diǎn)和文件塊的映射關(guān)系,因此客戶端需要訪問名稱節(jié)點(diǎn)才能找到請求的文件塊所在的位置金闽,進(jìn)而到相應(yīng)位置讀取所需文件塊纯露。
DataNode負(fù)責(zé)數(shù)據(jù)的存儲和讀取。在存儲時(shí)由名稱節(jié)點(diǎn)分配存儲位置代芜,然后由客戶端把數(shù)據(jù)直接寫入到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)埠褪。
在讀取時(shí)候,客戶端從名稱節(jié)點(diǎn)獲得數(shù)據(jù)節(jié)點(diǎn)和文件塊的映射關(guān)系挤庇,然后可以到相應(yīng)位置訪問文件塊钞速。數(shù)據(jù)節(jié)點(diǎn)也要根據(jù)名稱節(jié)點(diǎn)的命令創(chuàng)建,刪除數(shù)據(jù)和冗余復(fù)制嫡秕。
計(jì)算機(jī)集群中的節(jié)點(diǎn)可能發(fā)生故障渴语,因此為了保證數(shù)據(jù)的完整性,分布式文件系統(tǒng)通常采用昆咽,多副本存儲驾凶。文件塊會被復(fù)制多個(gè)副本,存在不同的節(jié)點(diǎn)掷酗,單個(gè)節(jié)點(diǎn)故障時(shí)候调违,就可以快速調(diào)用副本重啟單個(gè)節(jié)點(diǎn)上的計(jì)算過程,不用重啟整個(gè)計(jì)算過程泻轰。
HDFS的相關(guān)概念
塊:
在傳統(tǒng)文件系統(tǒng)中技肩,為了提高磁盤讀寫效率,一般以數(shù)據(jù)塊為單位糕殉,而不是以字節(jié)為單位亩鬼。
比如:在機(jī)械硬盤中包含了磁頭和轉(zhuǎn)動部件,在讀取數(shù)據(jù)時(shí)候 有一個(gè)尋道的過程阿蝶,通過轉(zhuǎn)動盤片和移動磁頭的位置雳锋,來找到數(shù)據(jù)在機(jī)械師硬盤中存儲的位置,然后才能進(jìn)行讀寫羡洁。在I/O開銷中玷过,機(jī)械師硬盤的尋址時(shí)間是最耗時(shí)的部分,一旦找到第一條記錄,剩下的順序讀取效率是非常高的辛蚊。因此粤蝎,以塊為單位讀寫數(shù)據(jù),可以把磁盤尋道時(shí)間分?jǐn)偟酱罅繑?shù)據(jù)中袋马。
HDFS也同樣采用了塊的概念初澎,默認(rèn)的一個(gè)塊大小為64MB。在HDFS中的文件會被拆分成多個(gè)塊虑凛,每個(gè)塊作為獨(dú)立的單元進(jìn)行存儲碑宴,默認(rèn)的一個(gè)塊大小是64MB。在HDFS中的文件會被拆分成為多個(gè)塊桑谍,每個(gè)塊作為獨(dú)立的單元進(jìn)行存儲延柠。我們所熟悉的普通文件系統(tǒng)的塊一般只有幾千個(gè)字節(jié),可以看出HDFS設(shè)計(jì)中 锣披,他的塊大小遠(yuǎn)遠(yuǎn)大于普通的文件系統(tǒng)贞间,HDFS這么做,是為了最小化尋址開銷雹仿,HDFS中的尋址開銷增热,不僅包括磁盤尋址開銷,還包括數(shù)據(jù)塊定位的開銷胧辽。
名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn):
在HDFS中钓葫,NameNode 負(fù)責(zé)管理分布式文件系統(tǒng)的命名空間。保存了兩個(gè)核心的數(shù)據(jù)結(jié)構(gòu) FsImage 和EditLog.
FsImage用于維護(hù)文件系統(tǒng)樹和文件樹中所有的文件和文件夾的元數(shù)據(jù)票顾。
(包含了:
1.文件復(fù)制等級
2.修改和訪問時(shí)間
3.訪問權(quán)限
4.塊大小以及組成文件的塊
)
元數(shù)據(jù)存在內(nèi)存中,元數(shù)據(jù)中包含了以下內(nèi)容:
1.文件是什么
2.該文件被分為多少塊
3.每個(gè)塊和文件怎么映射
4.每個(gè)塊被存在哪個(gè)服務(wù)器上
這些塊放在哪里是實(shí)時(shí)存在內(nèi)存中帆调,不由FsImage保存奠骄,
由DataNode匯報(bào)給NameNode;
操作日志Editlog中記錄了所有針對文件的操作。
第二名稱節(jié)點(diǎn):
在名稱節(jié)點(diǎn)運(yùn)行期間番刊,HDFS會不斷發(fā)生更新操作含鳞,這些更新操作都是直接被寫入到EditLog文件,因此 EditLog文件也會逐漸變大芹务。在名稱節(jié)點(diǎn)運(yùn)行期間蝉绷,不斷變大的EditLog文件通常對于文件系統(tǒng)性能不會產(chǎn)生顯著影響,但是當(dāng)名稱節(jié)點(diǎn)重啟時(shí)枣抱,需要將FsImage加載到內(nèi)存中熔吗,然后逐條執(zhí)行EditLog中的記錄,使得FsImage保持更新佳晶。
(1)EditLog和FsImage 的合并操作桅狠,每隔一段時(shí)間(默認(rèn)一小時(shí))或EditLog中存滿100萬條數(shù)據(jù)。第二名稱節(jié)點(diǎn)就會和NameNode通信,請求其停止使用EditLog文件中跌。暫時(shí)把新的操作寫在EditLog.new中咨堤,然后第二名稱節(jié)點(diǎn)把名稱節(jié)點(diǎn)中的Edit和FsImage文件拉回本地。 再加載到內(nèi)存中漩符,對二者執(zhí)行合并操作一喘。 即在內(nèi)存中逐條執(zhí)行EditLog中的操作,使FsImage保持最新嗜暴,合并結(jié)束后凸克,第二名稱節(jié)點(diǎn),把合并后得到的最新的FsImage文件發(fā)送到NameNode.NN收到后灼伤,會用最新的FsImage文件去替換舊的FsImage文件触徐,同時(shí)用EditLog.new文件去替換Edit文件。
(2)名稱節(jié)點(diǎn)作為“檢查點(diǎn)“ ,周期性的備份名稱節(jié)點(diǎn)中的元數(shù)據(jù)信息狐赡。當(dāng)NN故障時(shí)候撞鹉,可以用2NN中的記錄元數(shù)據(jù)信息進(jìn)行系統(tǒng)恢復(fù)。但是颖侄,在第二名稱節(jié)點(diǎn)上合并操作鸟雏,得到的新的FsImage文件是合并操作發(fā)生時(shí)HDFS記錄元數(shù)據(jù)信息,但是會丟失掉览祖,合并期間部分信息孝鹊。