Namenode HA框架

非HA的Namenode架構(gòu)

一個HDFS集群只存在一個Namenode吨些,Datanode只向一個Namenode匯報 磅甩,Namenode的edit log存儲在本地目錄

HA架構(gòu):

包含兩個Namenode,主(active)與備(standby)包券,ZKFC(Zookeeper Failover Controller),ZK, share editlog(可以是NFS和QJM)

editlog
Namenode記錄了HDFS的目錄文件等元數(shù)據(jù)蛮粮,客戶端每次對文件的增刪改等操作,Namenode都會記錄一條日志优烧,叫做editlog

ZKFC
Zookeeper故障轉(zhuǎn)移控制器控制Namenode故障轉(zhuǎn)移過程蝉揍,每個Namenode對應一個ZKFC

NFS: Network File System
NameNode之間通過NAS進行元數(shù)據(jù)同步,有一定局限性

QJM: Quorum Journal Manager
(Quorum一致性:w+r>n r>n-w)
由JournalNode(JN)組成畦娄,一般是奇數(shù)個節(jié)點又沾。JournalNode保存共享的編輯日志。每個JournalNode對外有一個簡易的RPC接口熙卡,以供NameNode讀寫EditLog到JN本地杖刷。

流程:

集群啟動后,一個Namenode處于active狀態(tài)驳癌,并提供服務滑燃,處理客戶端和datanode請求,并把editlog寫到share editlog(JournalNode)和本地颓鲜。

另一個Namenode處于Standby狀態(tài)表窘,它啟動時從fsimage(File System Image)(保存了HDFS中文件名稱,目錄結(jié)構(gòu)甜滨,文件權(quán)限等信息)加載HDFS元數(shù)據(jù)到內(nèi)存乐严,然后周期性地從share editlog(JournalNode)獲取editlog,保持與active的狀態(tài)同步衣摩。

為了實現(xiàn)standby在active掛掉后迅速提供服務昂验,需要Datanode同時向兩個Namenode發(fā)送心跳(block report 塊狀態(tài)報告)(健康狀態(tài)和塊位置),因為Namenode啟動中最費時的工作是處理所有的datanode的block report艾扮。

ZKFC與ZK通信既琴,通過ZK選主,ZKFC通過RPC讓Namenode轉(zhuǎn)換為active或standby泡嘴。

NN HA

防止腦裂

  • 使用QJM實現(xiàn)共享同存儲的fencing甫恩,以確保只有一個Namenode能寫成功

  • Datanode fencing,只有一個Namenode能命令Datanode

  • 客戶端fencing酌予,確保只有一個Namenode能相應客戶端請求填物,讓訪問standby的Namennode的客戶端直接失敗纹腌。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市滞磺,隨后出現(xiàn)的幾起案子升薯,更是在濱河造成了極大的恐慌,老刑警劉巖击困,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件涎劈,死亡現(xiàn)場離奇詭異,居然都是意外死亡阅茶,警方通過查閱死者的電腦和手機蛛枚,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來脸哀,“玉大人蹦浦,你說我怎么就攤上這事∽卜洌” “怎么了盲镶?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長蝌诡。 經(jīng)常有香客問我溉贿,道長,這世上最難降的妖魔是什么浦旱? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任宇色,我火速辦了婚禮,結(jié)果婚禮上颁湖,老公的妹妹穿的比我還像新娘宣蠕。我一直安慰自己,他們只是感情好甥捺,可當我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布抢蚀。 她就那樣靜靜地躺著,像睡著了一般涎永。 火紅的嫁衣襯著肌膚如雪思币。 梳的紋絲不亂的頭發(fā)上鹿响,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天羡微,我揣著相機與錄音,去河邊找鬼惶我。 笑死妈倔,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的绸贡。 我是一名探鬼主播盯蝴,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼毅哗,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了捧挺?” 一聲冷哼從身側(cè)響起虑绵,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎闽烙,沒想到半個月后翅睛,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡黑竞,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年捕发,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片很魂。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡扎酷,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出遏匆,到底是詐尸還是另有隱情法挨,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布拉岁,位于F島的核電站坷剧,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏喊暖。R本人自食惡果不足惜惫企,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望陵叽。 院中可真熱鬧狞尔,春花似錦、人聲如沸巩掺。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽胖替。三九已至研儒,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間独令,已是汗流浹背端朵。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留燃箭,地道東北人冲呢。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像招狸,于是被迫代替她去往敵國和親敬拓。 傳聞我的和親對象是個殘疾皇子邻薯,可洞房花燭夜當晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容