大數(shù)據(jù)Hadoop面試題(一)

1狐粱、集群的最主要瓶頸

磁盤IO

2灵汪、Hadoop運行模式

單機版败许、偽分布式模式垒酬、完全分布式模式

3砰嘁、Hadoop生態(tài)圈的組件并做簡要描述

1)Zookeeper:是一個開源的分布式應(yīng)用程序協(xié)調(diào)服務(wù),基于zookeeper可以實現(xiàn)同步服務(wù),配置維護勘究,命名服務(wù)矮湘。

2)Flume:一個高可用的,高可靠的口糕,分布式的海量日志采集缅阳、聚合和傳輸?shù)南到y(tǒng)。

3)Hbase:是一個分布式的景描、面向列的開源數(shù)據(jù)庫, 利用Hadoop HDFS作為其存儲系統(tǒng)十办。

4)Hive:基于Hadoop的一個數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)檔映射為一張數(shù)據(jù)庫表超棺,并提供簡單的sql 查詢功能向族,可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。

5)Sqoop:將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導進到Hadoop的 HDFS中棠绘,也可以將HDFS的數(shù)據(jù)導進到關(guān)系型數(shù)據(jù)庫中件相。

4、解釋“hadoop”和“hadoop 生態(tài)系統(tǒng)”兩個概念

Hadoop是指Hadoop框架本身氧苍;hadoop生態(tài)系統(tǒng)夜矗,不僅包含hadoop,還包括保證hadoop框架正常高效運行其他框架让虐,比如zookeeper侯养、Flume、Hbase澄干、Hive逛揩、Sqoop等輔助框架。

5麸俘、請列出正常工作的Hadoop集群中Hadoop都分別需要啟動哪些進程辩稽,它們的作用分別是什么?

1)NameNode:它是hadoop中的主服務(wù)器,管理文件系統(tǒng)名稱空間和對集群中存儲的文件的訪問从媚,保存有metadate逞泄。

2)SecondaryNameNode:它不是namenode的冗余守護進程,而是提供周期檢查點和清理任務(wù)。幫助NN合并editslog喷众,減少NN啟動時間各谚。

3)DataNode:它負責管理連接到節(jié)點的存儲(一個集群中可以有多個節(jié)點)。每個存儲數(shù)據(jù)的節(jié)點運行一個datanode守護進程到千。

4)ResourceManager(JobTracker):JobTracker負責調(diào)度DataNode上的工作昌渤。每個DataNode有一個TaskTracker,它們執(zhí)行實際工作憔四。

5)NodeManager:(TaskTracker)執(zhí)行任務(wù)

6)DFSZKFailoverController:高可用時它負責監(jiān)控NN的狀態(tài)膀息,并及時的把狀態(tài)信息寫入ZK。它通過一個獨立線程周期性的調(diào)用NN上的一個特定接口來獲 取NN的健康狀態(tài)了赵。FC也有選擇誰作為Active NN的權(quán)利潜支,因為最多只有兩個節(jié)點,目前選擇策略還比較簡單(先到先得柿汛,輪換)冗酿。

7)JournalNode:高可用情況下存放namenode的editlog文件.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市络断,隨后出現(xiàn)的幾起案子裁替,更是在濱河造成了極大的恐慌,老刑警劉巖妓羊,帶你破解...
    沈念sama閱讀 212,884評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異稍计,居然都是意外死亡躁绸,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,755評論 3 385
  • 文/潘曉璐 我一進店門臣嚣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來净刮,“玉大人,你說我怎么就攤上這事硅则⊙透福” “怎么了?”我有些...
    開封第一講書人閱讀 158,369評論 0 348
  • 文/不壞的土叔 我叫張陵怎虫,是天一觀的道長暑认。 經(jīng)常有香客問我,道長大审,這世上最難降的妖魔是什么蘸际? 我笑而不...
    開封第一講書人閱讀 56,799評論 1 285
  • 正文 為了忘掉前任,我火速辦了婚禮徒扶,結(jié)果婚禮上粮彤,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好导坟,可當我...
    茶點故事閱讀 65,910評論 6 386
  • 文/花漫 我一把揭開白布屿良。 她就那樣靜靜地躺著,像睡著了一般惫周。 火紅的嫁衣襯著肌膚如雪尘惧。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,096評論 1 291
  • 那天闯两,我揣著相機與錄音褥伴,去河邊找鬼。 笑死漾狼,一個胖子當著我的面吹牛重慢,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播逊躁,決...
    沈念sama閱讀 39,159評論 3 411
  • 文/蒼蘭香墨 我猛地睜開眼似踱,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了稽煤?” 一聲冷哼從身側(cè)響起核芽,我...
    開封第一講書人閱讀 37,917評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎酵熙,沒想到半個月后轧简,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,360評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡匾二,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,673評論 2 327
  • 正文 我和宋清朗相戀三年哮独,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片察藐。...
    茶點故事閱讀 38,814評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡皮璧,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出分飞,到底是詐尸還是另有隱情悴务,我是刑警寧澤,帶...
    沈念sama閱讀 34,509評論 4 334
  • 正文 年R本政府宣布譬猫,位于F島的核電站讯檐,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏染服。R本人自食惡果不足惜裂垦,卻給世界環(huán)境...
    茶點故事閱讀 40,156評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望肌索。 院中可真熱鬧蕉拢,春花似錦特碳、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至闸准,卻和暖如春益愈,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背夷家。 一陣腳步聲響...
    開封第一講書人閱讀 32,123評論 1 267
  • 我被黑心中介騙來泰國打工蒸其, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人库快。 一個月前我還...
    沈念sama閱讀 46,641評論 2 362
  • 正文 我出身青樓摸袁,卻偏偏與公主長得像,于是被迫代替她去往敵國和親义屏。 傳聞我的和親對象是個殘疾皇子靠汁,可洞房花燭夜當晚...
    茶點故事閱讀 43,728評論 2 351