1. 簡單描述如何安裝配置一個apache開源版hadoop袭景，只描述即可证逻，無需列出完整步驟涡真，能列出步驟更好篙贸。
1) 安裝JDK并配置環(huán)境變量（/etc/profile）
2) 關(guān)閉防火墻
3) 配置hosts文件，方便hadoop通過主機(jī)名訪問（/etc/hosts）
4) 設(shè)置ssh免密碼登錄
5) 解壓縮hadoop安裝包茅特，并配置環(huán)境變量
6) 修改配置文件（$HADOOP_HOME/conf）
hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml
7) 格式化hdfs文件系統(tǒng) （hadoop namenode -format）
8) 啟動hadoop （$HADOOP_HOME/bin/start-all.sh）
9) 使用jps查看進(jìn)程
2. 請列出正常工作的hadoop集群中hadoop都分別需要啟動那些進(jìn)程，他們的作用分別是什么棋枕，盡可能寫的全面些白修。
1) NameNode: HDFS的守護(hù)進(jìn)程，負(fù)責(zé)記錄文件是如何分割成數(shù)據(jù)塊重斑，以及這些數(shù)據(jù)塊分別被存儲到那些數(shù)據(jù)節(jié)點上兵睛，它的主要功能是對內(nèi)存及IO進(jìn)行集中管理
2) Secondary NameNode：輔助后臺程序，與NameNode進(jìn)行通信，以便定期保存HDFS元數(shù)據(jù)的快照祖很。
3) DataNode：負(fù)責(zé)把HDFS數(shù)據(jù)塊讀寫到本地的文件系統(tǒng)笛丙。
4) JobTracker：負(fù)責(zé)分配task，并監(jiān)控所有運行的task假颇。
5) TaskTracker：負(fù)責(zé)執(zhí)行具體的task胚鸯，并與JobTracker進(jìn)行交互。
3. 請列出你所知道的hadoop調(diào)度器笨鸡，并簡要說明其工作方法姜钳。
比較流行的三種調(diào)度器有：默認(rèn)調(diào)度器FIFO，計算能力調(diào)度器Capacity Scheduler形耗，公平調(diào)度器Fair Scheduler
1) 默認(rèn)調(diào)度器FIFO
hadoop中默認(rèn)的調(diào)度器哥桥，采用先進(jìn)先出的原則
2) 計算能力調(diào)度器Capacity Scheduler
選擇占用資源小，優(yōu)先級高的先執(zhí)行
3) 公平調(diào)度器Fair Scheduler
同一隊列中的作業(yè)公平共享隊列中所有資源
4. Hive有那些方式保存元數(shù)據(jù)的激涤，各有那些特點拟糕。
1) 內(nèi)存數(shù)據(jù)庫derby，較小倦踢，不常用
2) 本地mysql送滞，較常用
3) 遠(yuǎn)程mysql，不常用
5. 請簡述hadoop怎樣實現(xiàn)二級排序硼一。
在Hadoop中累澡，默認(rèn)情況下是按照key進(jìn)行排序，如果要按照value進(jìn)行排序怎么辦般贼？
有兩種方法進(jìn)行二次排序愧哟，分別為：buffer and in memory sort和 value-to-key conversion。
buffer and in memory sort
主要思想是：在reduce()函數(shù)中哼蛆，將某個key對應(yīng)的所有value保存下來蕊梧，然后進(jìn)行排序。 這種方法最大的缺點是：可能會造成out of memory腮介。
value-to-key conversion
主要思想是：將key和部分value拼接成一個組合key（實現(xiàn)WritableComparable接口或者調(diào)setSortComparatorClass函數(shù)）肥矢，這樣reduce獲取的結(jié)果便是先按key排序，后按value排序的結(jié)果叠洗，需要注意的是甘改，用戶需要自己實現(xiàn)Paritioner，以便只按照key進(jìn)行數(shù)據(jù)劃分灭抑。Hadoop顯式的支持二次排序十艾，在Configuration類中有個setGroupingComparatorClass()方法，可用于設(shè)置排序group的key值
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/
6. 簡述hadoop實現(xiàn)Join的幾種方法。
1) reduce side join
reduce side join是一種最簡單的join方式，其主要思想如下：
在map階段氮昧，map函數(shù)同時讀取兩個文件File1和File2订咸，為了區(qū)分兩種來源的key/value數(shù)據(jù)對北启，對每條數(shù)據(jù)打一個標(biāo)簽（tag）,比如：tag=0表示來自文件File1惰许，tag=2表示來自文件File2孙乖。即：map階段的主要任務(wù)是對不同文件中的數(shù)據(jù)打標(biāo)簽橄浓。
在reduce階段访递，reduce函數(shù)獲取key相同的來自File1和File2文件的value list晦嵌， 然后對于同一個key，對File1和File2中的數(shù)據(jù)進(jìn)行join（笛卡爾乘積）力九。即：reduce階段進(jìn)行實際的連接操作耍铜。
2) map side join
之所以存在reduce side join，是因為在map階段不能獲取所有需要的join字段跌前，即：同一個key對應(yīng)的字段可能位于不同map中棕兼。Reduce side join是非常低效的，因為shuffle階段要進(jìn)行大量的數(shù)據(jù)傳輸抵乓。
Map side join是針對以下場景進(jìn)行的優(yōu)化：兩個待連接表中伴挚，有一個表非常大，而另一個表非常小灾炭，以至于小表可以直接存放到內(nèi)存中茎芋。這樣，我們可以將小表復(fù)制多份蜈出，讓每個map task內(nèi)存中存在一份（比如存放到hash table中）田弥，然后只掃描大表：對于大表中的每一條記錄key/value，在hash table中查找是否有相同的key的記錄铡原，如果有偷厦，則連接后輸出即可。
為了支持文件的復(fù)制燕刻，Hadoop提供了一個類DistributedCache只泼，使用該類的方法如下：
A：用戶使用靜態(tài)方法DistributedCache.addCacheFile()指定要復(fù)制的文件，它的參數(shù)是文件的URI（如果是HDFS上的文件卵洗，可以這樣：hdfs://namenode:9000/home/XXX/file请唱，其中9000是自己配置的NameNode端口號）。JobTracker在作業(yè)啟動之前會獲取這個URI列表过蹂，并將相應(yīng)的文件拷貝到各個TaskTracker的本地磁盤上十绑。
B：用戶使用DistributedCache.getLocalCacheFiles()方法獲取文件目錄，并使用標(biāo)準(zhǔn)的文件讀寫API讀取相應(yīng)的文件酷勺。
3) SemiJoin
SemiJoin孽惰，也叫半連接，是從分布式數(shù)據(jù)庫中借鑒過來的方法鸥印。它的產(chǎn)生動機(jī)是：對于reduce side join勋功，跨機(jī)器的數(shù)據(jù)傳輸量非常大，這成了join操作的一個瓶頸库说，如果能夠在map端過濾掉不會參加join操作的數(shù)據(jù)狂鞋，則可以大大節(jié)省網(wǎng)絡(luò)IO。
實現(xiàn)方法很簡單：選取一個小表潜的，假設(shè)是File1骚揍，將其參與join的key抽取出來，保存到文件File3中啰挪，F(xiàn)ile3文件一般很小信不，可以放到內(nèi)存中。在map階段亡呵，使用DistributedCache將File3復(fù)制到各個TaskTracker上抽活，然后將File2中不在File3中的key對應(yīng)的記錄過濾掉，剩下的reduce階段的工作與reduce side join相同锰什。
更多關(guān)于半連接的介紹下硕，可參考：半連接介紹：http://wenku.baidu.com/view/ae7442db7f1922791688e877.html
4) reduce side join + BloomFilter
在某些情況下，SemiJoin抽取出來的小表的key集合在內(nèi)存中仍然存放不下汁胆，這時候可以使用BloomFiler以節(jié)省空間梭姓。
BloomFilter最常見的作用是：判斷某個元素是否在一個集合里面。它最重要的兩個方法是：add() 和contains()嫩码。最大的特點是不會存在false negative誉尖，即：如果contains()返回false，則該元素一定不在集合中铸题，但會存在一定的true negative铡恕，即：如果contains()返回true，則該元素可能在集合中回挽。
因而可將小表中的key保存到BloomFilter中没咙，在map階段過濾大表，可能有一些不在小表中的記錄沒有過濾掉（但是在小表中的記錄一定不會過濾掉）千劈，這沒關(guān)系祭刚，只不過增加了少量的網(wǎng)絡(luò)IO而已。
更多關(guān)于BloomFilter的介紹墙牌，可參考：http://blog.csdn.net/jiaomeng/article/details/1495500
7. 請簡述MapReduce中combiner涡驮、partition的作用。
combiner：
有時一個map可能會產(chǎn)生大量的輸出喜滨，combiner的作用是在map端對輸出先做一次合并捉捅，以減少網(wǎng)絡(luò)傳輸?shù)絩educer的數(shù)量。
注意：mapper的輸出為combiner的輸入虽风，reducer的輸入為combiner的輸出棒口。
partition：
把map任務(wù)輸出的中間結(jié)果按照key的范圍劃分成R份(R是預(yù)先定義的reduce任務(wù)的個數(shù))寄月，劃分時通常使用hash函數(shù)，如：hash(key) mod R
這樣可以保證一段范圍內(nèi)的key无牵，一定會由一個reduce任務(wù)來處理漾肮。
來源：http://www.tuicool.com/articles/bUruqi2
