大數(shù)據(jù)存儲與管理

大數(shù)據(jù)存儲與管理

本節(jié)主要講述大數(shù)據(jù)存儲與管理技術(shù)的概念和原理,包括Hadoop分布式文件系統(tǒng)(HDFS)和分布式數(shù)據(jù)庫(Hbase);


體系結(jié)構(gòu):

一、分布式文件系統(tǒng)HDFS

1.HDFS體系結(jié)構(gòu)

2.HDFS存儲原理

3.HDFS編程


二登淘、分布式數(shù)據(jù)庫Hbase

1.Hbase數(shù)據(jù)模型

2.Hbase實(shí)現(xiàn)原理

3.Hbase運(yùn)行機(jī)制

4.Hbase編程

重點(diǎn)需要掌握分布式文件系統(tǒng)和分布式數(shù)據(jù)庫的實(shí)現(xiàn)原理和應(yīng)用方法瓜喇。


分布式文件系統(tǒng)HDFS

大數(shù)據(jù)時(shí)代舷胜,該如何存儲海量數(shù)據(jù),為此三妈,谷歌公司開發(fā)了分布式文件系統(tǒng)GFS,通過網(wǎng)絡(luò)實(shí)現(xiàn)一個(gè)大文件能在多臺機(jī)器上存儲莫绣,滿足了分布式存儲需求畴蒲。

HDFS Hadoop Distributed File System 是針對GFS的開源實(shí)現(xiàn)。

Hadoop有兩大核心組件 HDFS和mapReduce对室;


本章先介紹HDFS

在平時(shí)常用的Win模燥,Linux系統(tǒng)中 文件系統(tǒng)一般會把磁盤空間劃分為512字節(jié)一組,成為磁盤塊掩宜,他是文件系統(tǒng)讀寫操作的最小單位蔫骂。 文件系統(tǒng)Block通常是磁盤塊的整數(shù)倍,每次讀寫的數(shù)據(jù)量必須是磁盤塊大小的整數(shù)倍牺汤。


在分布式文件系統(tǒng)中辽旋,也采用了這樣塊的概念。一個(gè)文件被分為很多個(gè)塊來存儲。HDFS中默認(rèn)一個(gè)塊大小是64M补胚,但是如果一個(gè)文件沒達(dá)到64M 它并不會占用整個(gè)數(shù)據(jù)塊的存儲空間码耐。


分布式文件系統(tǒng)在物理結(jié)構(gòu)上是由計(jì)算機(jī)集群中的多個(gè)節(jié)點(diǎn)組成的,這些節(jié)點(diǎn)被分為兩類

1糖儡、NameNode和2伐坏、DataNode?

NameNode 負(fù)責(zé)文件和目錄的創(chuàng)建、刪除握联、重命名等桦沉,同時(shí)也管理著數(shù)據(jù)節(jié)點(diǎn)和文件塊的映射關(guān)系,因此客戶端需要訪問名稱節(jié)點(diǎn)才能找到請求的文件塊所在的位置金闽,進(jìn)而到相應(yīng)位置讀取所需文件塊纯露。

DataNode負(fù)責(zé)數(shù)據(jù)的存儲和讀取。在存儲時(shí)由名稱節(jié)點(diǎn)分配存儲位置代芜,然后由客戶端把數(shù)據(jù)直接寫入到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)埠褪。

在讀取時(shí)候,客戶端從名稱節(jié)點(diǎn)獲得數(shù)據(jù)節(jié)點(diǎn)和文件塊的映射關(guān)系挤庇,然后可以到相應(yīng)位置訪問文件塊钞速。數(shù)據(jù)節(jié)點(diǎn)也要根據(jù)名稱節(jié)點(diǎn)的命令創(chuàng)建,刪除數(shù)據(jù)和冗余復(fù)制嫡秕。

計(jì)算機(jī)集群中的節(jié)點(diǎn)可能發(fā)生故障渴语,因此為了保證數(shù)據(jù)的完整性,分布式文件系統(tǒng)通常采用昆咽,多副本存儲驾凶。文件塊會被復(fù)制多個(gè)副本,存在不同的節(jié)點(diǎn)掷酗,單個(gè)節(jié)點(diǎn)故障時(shí)候调违,就可以快速調(diào)用副本重啟單個(gè)節(jié)點(diǎn)上的計(jì)算過程,不用重啟整個(gè)計(jì)算過程泻轰。

HDFS的相關(guān)概念

塊:

在傳統(tǒng)文件系統(tǒng)中技肩,為了提高磁盤讀寫效率,一般以數(shù)據(jù)塊為單位糕殉,而不是以字節(jié)為單位亩鬼。

比如:在機(jī)械硬盤中包含了磁頭和轉(zhuǎn)動部件,在讀取數(shù)據(jù)時(shí)候 有一個(gè)尋道的過程阿蝶,通過轉(zhuǎn)動盤片和移動磁頭的位置雳锋,來找到數(shù)據(jù)在機(jī)械師硬盤中存儲的位置,然后才能進(jìn)行讀寫羡洁。在I/O開銷中玷过,機(jī)械師硬盤的尋址時(shí)間是最耗時(shí)的部分,一旦找到第一條記錄,剩下的順序讀取效率是非常高的辛蚊。因此粤蝎,以塊為單位讀寫數(shù)據(jù),可以把磁盤尋道時(shí)間分?jǐn)偟酱罅繑?shù)據(jù)中袋马。

HDFS也同樣采用了塊的概念初澎,默認(rèn)的一個(gè)塊大小為64MB。在HDFS中的文件會被拆分成多個(gè)塊虑凛,每個(gè)塊作為獨(dú)立的單元進(jìn)行存儲碑宴,默認(rèn)的一個(gè)塊大小是64MB。在HDFS中的文件會被拆分成為多個(gè)塊桑谍,每個(gè)塊作為獨(dú)立的單元進(jìn)行存儲延柠。我們所熟悉的普通文件系統(tǒng)的塊一般只有幾千個(gè)字節(jié),可以看出HDFS設(shè)計(jì)中 锣披,他的塊大小遠(yuǎn)遠(yuǎn)大于普通的文件系統(tǒng)贞间,HDFS這么做,是為了最小化尋址開銷雹仿,HDFS中的尋址開銷增热,不僅包括磁盤尋址開銷,還包括數(shù)據(jù)塊定位的開銷胧辽。


名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn):

在HDFS中钓葫,NameNode 負(fù)責(zé)管理分布式文件系統(tǒng)的命名空間。保存了兩個(gè)核心的數(shù)據(jù)結(jié)構(gòu) FsImage 和EditLog.

FsImage用于維護(hù)文件系統(tǒng)樹和文件樹中所有的文件和文件夾的元數(shù)據(jù)票顾。

(包含了:

1.文件復(fù)制等級

2.修改和訪問時(shí)間

3.訪問權(quán)限

4.塊大小以及組成文件的塊

)

元數(shù)據(jù)存在內(nèi)存中,元數(shù)據(jù)中包含了以下內(nèi)容:

1.文件是什么

2.該文件被分為多少塊

3.每個(gè)塊和文件怎么映射

4.每個(gè)塊被存在哪個(gè)服務(wù)器上


這些塊放在哪里是實(shí)時(shí)存在內(nèi)存中帆调,不由FsImage保存奠骄,

由DataNode匯報(bào)給NameNode;


操作日志Editlog中記錄了所有針對文件的操作。


第二名稱節(jié)點(diǎn):

在名稱節(jié)點(diǎn)運(yùn)行期間番刊,HDFS會不斷發(fā)生更新操作含鳞,這些更新操作都是直接被寫入到EditLog文件,因此 EditLog文件也會逐漸變大芹务。在名稱節(jié)點(diǎn)運(yùn)行期間蝉绷,不斷變大的EditLog文件通常對于文件系統(tǒng)性能不會產(chǎn)生顯著影響,但是當(dāng)名稱節(jié)點(diǎn)重啟時(shí)枣抱,需要將FsImage加載到內(nèi)存中熔吗,然后逐條執(zhí)行EditLog中的記錄,使得FsImage保持更新佳晶。


(1)EditLog和FsImage 的合并操作桅狠,每隔一段時(shí)間(默認(rèn)一小時(shí))或EditLog中存滿100萬條數(shù)據(jù)。第二名稱節(jié)點(diǎn)就會和NameNode通信,請求其停止使用EditLog文件中跌。暫時(shí)把新的操作寫在EditLog.new中咨堤,然后第二名稱節(jié)點(diǎn)把名稱節(jié)點(diǎn)中的Edit和FsImage文件拉回本地。 再加載到內(nèi)存中漩符,對二者執(zhí)行合并操作一喘。 即在內(nèi)存中逐條執(zhí)行EditLog中的操作,使FsImage保持最新嗜暴,合并結(jié)束后凸克,第二名稱節(jié)點(diǎn),把合并后得到的最新的FsImage文件發(fā)送到NameNode.NN收到后灼伤,會用最新的FsImage文件去替換舊的FsImage文件触徐,同時(shí)用EditLog.new文件去替換Edit文件。


(2)名稱節(jié)點(diǎn)作為“檢查點(diǎn)“ ,周期性的備份名稱節(jié)點(diǎn)中的元數(shù)據(jù)信息狐赡。當(dāng)NN故障時(shí)候撞鹉,可以用2NN中的記錄元數(shù)據(jù)信息進(jìn)行系統(tǒng)恢復(fù)。但是颖侄,在第二名稱節(jié)點(diǎn)上合并操作鸟雏,得到的新的FsImage文件是合并操作發(fā)生時(shí)HDFS記錄元數(shù)據(jù)信息,但是會丟失掉览祖,合并期間部分信息孝鹊。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市展蒂,隨后出現(xiàn)的幾起案子又活,更是在濱河造成了極大的恐慌,老刑警劉巖锰悼,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件柳骄,死亡現(xiàn)場離奇詭異,居然都是意外死亡箕般,警方通過查閱死者的電腦和手機(jī)耐薯,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來丝里,“玉大人曲初,你說我怎么就攤上這事”郏” “怎么了臼婆?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長幌绍。 經(jīng)常有香客問我目锭,道長评汰,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任痢虹,我火速辦了婚禮被去,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘奖唯。我一直安慰自己惨缆,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布丰捷。 她就那樣靜靜地躺著坯墨,像睡著了一般。 火紅的嫁衣襯著肌膚如雪病往。 梳的紋絲不亂的頭發(fā)上捣染,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天,我揣著相機(jī)與錄音停巷,去河邊找鬼耍攘。 笑死,一個(gè)胖子當(dāng)著我的面吹牛畔勤,可吹牛的內(nèi)容都是我干的蕾各。 我是一名探鬼主播,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼庆揪,長吁一口氣:“原來是場噩夢啊……” “哼式曲!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起缸榛,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤吝羞,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后内颗,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體脆贵,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年起暮,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片会烙。...
    茶點(diǎn)故事閱讀 40,865評論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡负懦,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出柏腻,到底是詐尸還是另有隱情纸厉,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布五嫂,位于F島的核電站颗品,受9級特大地震影響肯尺,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜躯枢,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一则吟、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧锄蹂,春花似錦氓仲、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至朝抖,卻和暖如春啥箭,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背治宣。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工急侥, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人炼七。 一個(gè)月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓缆巧,卻偏偏與公主長得像,于是被迫代替她去往敵國和親豌拙。 傳聞我的和親對象是個(gè)殘疾皇子陕悬,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,870評論 2 361