Zookeeper應(yīng)用:hadoop的HA簡單實現(xiàn)


hadoop的HA簡單說明

hadoop的HDFS集群的分布式存儲是靠NameNode節(jié)點(namenode負(fù)責(zé)響應(yīng)客戶端請求)來實現(xiàn)鬼雀。NameNode對應(yīng)整個hadoop來說,無非是很重要的漓拾。
在非HA集群中一旦NameNode宕機,雖然元數(shù)據(jù)不會丟失,但整個集群將無法對外提供服務(wù),導(dǎo)致HDFS服務(wù)的可靠性不高您机,這在實際應(yīng)用場景中顯然是不可行的。
但是年局,如果有2個NameNode同時響應(yīng)际看,肯定會產(chǎn)生數(shù)據(jù)混亂。也就是brain split(腦裂)某宪。所以我們一般不會采用主主模式(active/active模式)仿村,而會采用主備模式(active/standby模式)
這樣,一旦active節(jié)點宕機,standby節(jié)點立即切換到active模式趟佃。


簡單說明

我們知道奋早,NameNode主要是用來保存HDFS的元數(shù)據(jù)信息,比如命名空間信息仍律,塊信息等。當(dāng)它運行的時候,這些信息是存在內(nèi)存中的壶谒。由于NameNode的重要性,很多處理包括合并信息都會交給SecondaryNameNode去做膳沽,就算這樣汗菜,NameNode還是可能會宕機


Zookeeper作用

hadoop1.x让禀,由于只有一個NameNode。如果該NameNode數(shù)據(jù)丟失或者不能工作陨界,那么整個集群就不能恢復(fù)了巡揍。這是hadoop1.x中的單點問題。
在hadoop2.x中菌瘪,如圖


hadoop的HA實現(xiàn)

這里可以通過共享存儲腮敌,來在兩個NN間同步edits信息,會存儲在Journal Node中
具體NN的存活狀態(tài)俏扩,通過FailoverController通過Heartbeat心跳來反饋給ZooKeeper糜工,從而放置Hadoop腦裂的產(chǎn)生,并且當(dāng)active的NN倒掉后录淡,standby的NN馬上變成active狀態(tài)捌木,替代對應(yīng)的功能。


簡單測試

這里自己用的6臺機器做測試
大致如下:

ha01
    ZooKeeper
    NN(active)
    ResourceManager(active)
ha02
    ZooKeeper
    NN(standby)
ha03
    ZooKeeper
    ResourceManager(standby)
ha04
    DN
    NodeManager
    JournalNode
ha05
    DN
    NodeManager
    JournalNode
ha06
    DN
    NodeManager
    JournalNode

具體的搭建嫉戚,包括hosts钮莲,免密登錄,ZooKeeper集群及配置彼水,hadoop集群及配置崔拥,略

具體測試
我們可以在2臺NN的50070端口瀏覽器頁面,看見對應(yīng)NN的狀態(tài)凤覆,分別是active和standby的
我們手動kill掉active的NN链瓦,這個時候,可以發(fā)現(xiàn)standby的NN變成類active的盯桦。
我們再次啟動kill掉的NN慈俯,發(fā)現(xiàn)會變成standby的狀態(tài)

ResourceManager同理,不說明了

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末拥峦,一起剝皮案震驚了整個濱河市贴膘,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌略号,老刑警劉巖刑峡,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異玄柠,居然都是意外死亡突梦,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門羽利,熙熙樓的掌柜王于貴愁眉苦臉地迎上來宫患,“玉大人,你說我怎么就攤上這事这弧⊥尴校” “怎么了虚汛?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長皇帮。 經(jīng)常有香客問我泽疆,道長,這世上最難降的妖魔是什么玲献? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任殉疼,我火速辦了婚禮,結(jié)果婚禮上捌年,老公的妹妹穿的比我還像新娘瓢娜。我一直安慰自己,他們只是感情好礼预,可當(dāng)我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布眠砾。 她就那樣靜靜地躺著,像睡著了一般托酸。 火紅的嫁衣襯著肌膚如雪褒颈。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天励堡,我揣著相機與錄音谷丸,去河邊找鬼。 笑死应结,一個胖子當(dāng)著我的面吹牛刨疼,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播鹅龄,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼揩慕,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了扮休?” 一聲冷哼從身側(cè)響起迎卤,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎玷坠,沒想到半個月后蜗搔,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡侨糟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年碍扔,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片秕重。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖厉膀,靈堂內(nèi)的尸體忽然破棺而出溶耘,到底是詐尸還是另有隱情二拐,我是刑警寧澤,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布凳兵,位于F島的核電站百新,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏庐扫。R本人自食惡果不足惜饭望,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望形庭。 院中可真熱鬧铅辞,春花似錦、人聲如沸萨醒。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽富纸。三九已至囤踩,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間晓褪,已是汗流浹背堵漱。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留涣仿,地道東北人怔锌。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像变过,于是被迫代替她去往敵國和親埃元。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容