一猪落、 問答題
1芬首、簡單描述如何安裝配置一個apache開源版hadoop悦即,只描述即可吮成,無需列出完整步驟,能列出步驟更好辜梳。
- 安裝JDK并配置環(huán)境變量(/etc/profile)
- 關(guān)閉防火墻
- 配置hosts文件粱甫,方便hadoop通過主機名訪問(/etc/hosts)
- 設(shè)置ssh免密碼登錄
- 解壓縮hadoop安裝包,并配置環(huán)境變量
- 修改配置文件(
$HADOOP_HOME/conf
)
hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml - 格式化hdfs文件系統(tǒng) (hadoop namenode -format)
- 啟動hadoop (
$HADOOP_HOME/bin/start-all.sh
) - 使用jps查看進程
2作瞄、請列出正常工作的hadoop集群中hadoop都分別需要啟動那些進程茶宵,他們的作用分別是什么,盡可能寫的全面些宗挥。
- NameNode: HDFS的守護進程乌庶,負(fù)責(zé)記錄文件是如何分割成數(shù)據(jù)塊,以及這些數(shù)據(jù)塊分別被存儲到那些數(shù)據(jù)節(jié)點上契耿,它的主要功能是對內(nèi)存及IO進行集中管理
- Secondary NameNode:輔助后臺程序瞒大,與NameNode進行通信,以便定期保存HDFS元數(shù)據(jù)的快照搪桂。
- DataNode:負(fù)責(zé)把HDFS數(shù)據(jù)塊讀寫到本地的文件系統(tǒng)透敌。
- JobTracker:負(fù)責(zé)分配task,并監(jiān)控所有運行的task。
- TaskTracker:負(fù)責(zé)執(zhí)行具體的task酗电,并與JobTracker進行交互魄藕。
3、請列出你所知道的hadoop調(diào)度器撵术,并簡要說明其工作方法背率。
比較流行的三種調(diào)度器有:默認(rèn)調(diào)度器FIFO,計算能力調(diào)度器Capacity Scheduler嫩与,公平調(diào)度器Fair Scheduler
- 默認(rèn)調(diào)度器FIFO
hadoop中默認(rèn)的調(diào)度器退渗,采用先進先出的原則 - 計算能力調(diào)度器Capacity Scheduler
選擇占用資源小,優(yōu)先級高的先執(zhí)行 - 公平調(diào)度器Fair Scheduler
同一隊列中的作業(yè)公平共享隊列中所有資源
4蕴纳、Hive有那些方式保存元數(shù)據(jù)的会油,各有那些特點。
- 內(nèi)存數(shù)據(jù)庫derby古毛,較小翻翩,不常用
- 本地mysql,較常用
- 遠程mysql稻薇,不常用
5嫂冻、請簡述hadoop怎樣實現(xiàn)二級排序。
在Hadoop中塞椎,默認(rèn)情況下是按照key進行排序桨仿,如果要按照value進行排序怎么辦?
有兩種方法進行二次排序案狠,分別為:buffer and in memory sort和 value-to-key conversion服傍。
buffer and in memory sort
主要思想是:在reduce()函數(shù)中,將某個key對應(yīng)的所有value保存下來骂铁,然后進行排序吹零。 這種方法最大的缺點是:可能會造成out of memory。
value-to-key conversion
主要思想是:將key和部分value拼接成一個組合key(實現(xiàn)WritableComparable接口或者調(diào)setSortComparatorClass函數(shù))拉庵,這樣reduce獲取的結(jié)果便是先按key排序灿椅,后按value排序的結(jié)果,需要注意的是钞支,用戶需要自己實現(xiàn)Paritioner茫蛹,以便只按照key進行數(shù)據(jù)劃分。Hadoop顯式的支持二次排序烁挟,在Configuration類中有個setGroupingComparatorClass()方法婴洼,可用于設(shè)置排序group的key值。《Hadoop&Spark解決二次排序問題(Hadoop篇)》
6信夫、簡述hadoop實現(xiàn)Join的幾種方法窃蹋。
(1)卡啰、reduce side join
reduce side join是一種最簡單的join方式,其主要思想如下:
在map階段警没,map函數(shù)同時讀取兩個文件File1和File2匈辱,為了區(qū)分兩種來源的key/value數(shù)據(jù)對,對每條數(shù)據(jù)打一個標(biāo)簽(tag),比如:tag=0表示來自文件File1杀迹,tag=2表示來自文件File2亡脸。即:map階段的主要任務(wù)是對不同文件中的數(shù)據(jù)打標(biāo)簽。
在reduce階段树酪,reduce函數(shù)獲取key相同的來自File1和File2文件的value list浅碾, 然后對于同一個key,對File1和File2中的數(shù)據(jù)進行join(笛卡爾乘積)续语。即:reduce階段進行實際的連接操作垂谢。
(2)、map side join
之所以存在reduce side join疮茄,是因為在map階段不能獲取所有需要的join字段滥朱,即:同一個key對應(yīng)的字段可能位于不同map中。Reduce side join是非常低效的力试,因為shuffle階段要進行大量的數(shù)據(jù)傳輸徙邻。
Map side join是針對以下場景進行的優(yōu)化:兩個待連接表中,有一個表非常大畸裳,而另一個表非常小缰犁,以至于小表可以直接存放到內(nèi)存中。這樣怖糊,我們可以將小表復(fù)制多份帅容,讓每個map task內(nèi)存中存在一份(比如存放到hash table中),然后只掃描大表:對于大表中的每一條記錄key/value蓬抄,在hash table中查找是否有相同的key的記錄丰嘉,如果有,則連接后輸出即可嚷缭。
為了支持文件的復(fù)制,Hadoop提供了一個類DistributedCache耍贾,使用該類的方法如下:
(1)用戶使用靜態(tài)方法DistributedCache.addCacheFile()指定要復(fù)制的文件阅爽,它的參數(shù)是文件的URI(如果是HDFS上的文件,可以這樣:hdfs://namenode:9000/home/XXX/file荐开,其中9000是自己配置的NameNode端口號)付翁。JobTracker在作業(yè)啟動之前會獲取這個URI列表,并將相應(yīng)的文件拷貝到各個TaskTracker的本地磁盤上晃听。(2)用戶使用DistributedCache.getLocalCacheFiles()方法獲取文件目錄百侧,并使用標(biāo)準(zhǔn)的文件讀寫API讀取相應(yīng)的文件砰识。
(3)、SemiJoin
SemiJoin佣渴,也叫半連接辫狼,是從分布式數(shù)據(jù)庫中借鑒過來的方法。它的產(chǎn)生動機是:對于reduce side join辛润,跨機器的數(shù)據(jù)傳輸量非常大膨处,這成了join操作的一個瓶頸,如果能夠在map端過濾掉不會參加join操作的數(shù)據(jù)砂竖,則可以大大節(jié)省網(wǎng)絡(luò)IO真椿。
實現(xiàn)方法很簡單:選取一個小表,假設(shè)是File1乎澄,將其參與join的key抽取出來突硝,保存到文件File3中,F(xiàn)ile3文件一般很小置济,可以放到內(nèi)存中狞换。在map階段,使用DistributedCache將File3復(fù)制到各個TaskTracker上舟肉,然后將File2中不在File3中的key對應(yīng)的記錄過濾掉修噪,剩下的reduce階段的工作與reduce side join相同。
(4)路媚、reduce side join + BloomFilter
在某些情況下黄琼,SemiJoin抽取出來的小表的key集合在內(nèi)存中仍然存放不下,這時候可以使用BloomFiler以節(jié)省空間整慎。
BloomFilter最常見的作用是:判斷某個元素是否在一個集合里面脏款。它最重要的兩個方法是:add() 和contains()。最大的特點是不會存在false negative裤园,即:如果contains()返回false撤师,則該元素一定不在集合中,但會存在一定的true negative拧揽,即:如果contains()返回true剃盾,則該元素可能在集合中。
因而可將小表中的key保存到BloomFilter中淤袜,在map階段過濾大表痒谴,可能有一些不在小表中的記錄沒有過濾掉(但是在小表中的記錄一定不會過濾掉),這沒關(guān)系铡羡,只不過增加了少量的網(wǎng)絡(luò)IO而已积蔚。
7、請簡述MapReduce中combiner烦周、partition的作用
(1)尽爆、combiner
有時一個map可能會產(chǎn)生大量的輸出怎顾,combiner的作用是在map端對輸出先做一次合并,以減少網(wǎng)絡(luò)傳輸?shù)絩educer的數(shù)量漱贱。
注意:mapper的輸出為combiner的輸入槐雾,reducer的輸入為combiner的輸出。
(2)饱亿、partition
把map任務(wù)輸出的中間結(jié)果按照key的范圍劃分成R份(R是預(yù)先定義的reduce任務(wù)的個數(shù))蚜退,劃分時通常使用hash函數(shù),如:hash(key) mod R
這樣可以保證一段范圍內(nèi)的key彪笼,一定會由一個reduce任務(wù)來處理钻注。