1.MapReduce定義
Mapreduce是一個分布式運算程序的編程框架，是用戶開發(fā)“基于hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。
Mapreduce核心功能是將用戶編寫的業(yè)務(wù)邏輯代碼和自帶默認組件整合成一個完整的分布式運算程序溯警，并發(fā)運行在一個hadoop集群上钳宪。
2.MapReduce優(yōu)缺點
優(yōu)點
MapReduce易于編程稠腊。它簡單的實現(xiàn)一些接口，就可以完成一個分布式程序膝捞，這個分布式程序可以分布到大量廉價的PC機器上運行。也就是說你寫一個分布式程序愧沟，跟寫一個簡單的串行程序是一模一樣的蔬咬。就是因為這個特點使得MapReduce編程變得非常流行。
良好的擴展性沐寺。當你的計算資源不能得到滿足的時候林艘，你可以通過簡單的增加機器來擴展它的計算能力。
高容錯性混坞。MapReduce設(shè)計的初衷就是使程序能夠部署在廉價的PC機器上狐援，這就要求它具有很高的容錯性。比如其中一臺機器掛了究孕，它可以把上面的計算任務(wù)轉(zhuǎn)移到另外一個節(jié)點上運行啥酱，不至于這個任務(wù)運行失敗，而且這個過程不需要人工參與厨诸，而完全是由 Hadoop內(nèi)部完成的镶殷。
適合PB級以上海量數(shù)據(jù)的離線處理。它適合離線處理而不適合在線處理微酬。比如像毫秒級別的返回一個結(jié)果绘趋，MapReduce很難做到颤陶。
缺點
MapReduce不擅長做實時計算、流式計算埋心、DAG（有向無環(huán)圖）計算指郁。
實時計算。MapReduce無法像Mysql一樣拷呆，在毫秒或者秒級內(nèi)返回結(jié)果闲坎。
流式計算。流式計算的輸入數(shù)據(jù)是動態(tài)的茬斧，而MapReduce的輸入數(shù)據(jù)集是靜態(tài)的腰懂，不能動態(tài)變化。這是因為MapReduce自身的設(shè)計特點決定了數(shù)據(jù)源必須是靜態(tài)的项秉。
DAG（有向無環(huán)圖）計算绣溜。多個應(yīng)用程序存在依賴關(guān)系，后一個應(yīng)用程序的輸入為前一個的輸出娄蔼。在這種情況下怖喻，MapReduce并不是不能做，而是使用后岁诉，每個MapReduce作業(yè)的輸出結(jié)果都會寫入到磁盤锚沸，會造成大量的磁盤IO，導(dǎo)致性能非常的低下涕癣。
3.MapReduce核心思想
分布式的運算程序往往需要分成至少2個階段哗蜈。
第一個階段的maptask并發(fā)實例，完全并行運行坠韩，互不相干距潘。
第二個階段的reduce task并發(fā)實例互不相干，但是他們的數(shù)據(jù)依賴于上一個階段的所有maptask并發(fā)實例的輸出只搁。
MapReduce編程模型只能包含一個map階段和一個reduce階段音比，如果用戶的業(yè)務(wù)邏輯非常復(fù)雜，那就只能多個mapreduce程序氢惋，串行運行洞翩。
4.MapReduce進程
一個完整的mapreduce程序在分布式運行時有三類實例進程：
MrAppMaster：負責整個程序的過程調(diào)度及狀態(tài)協(xié)調(diào)。
MapTask：負責map階段的整個數(shù)據(jù)處理流程明肮。
ReduceTask：負責reduce階段的整個數(shù)據(jù)處理流程菱农。
5.MapReduce編程規(guī)范
用戶編寫的程序分成三個部分：Mapper，Reducer柿估，Driver(提交運行mr程序的客戶端)
Mapper階段
用戶自定義的Mapper要繼承自己的父類
Mapper的輸入數(shù)據(jù)是KV對的形式（KV的類型可自定義）
Mapper中的業(yè)務(wù)邏輯寫在map()方法中
Mapper的輸出數(shù)據(jù)是KV對的形式（KV的類型可自定義）
map()方法（maptask進程）對每一個<K,V>調(diào)用一次
Reducer階段
用戶自定義的Reducer要繼承自己的父類
Reducer的輸入數(shù)據(jù)類型對應(yīng)Mapper的輸出數(shù)據(jù)類型循未，也是KV
Reducer的業(yè)務(wù)邏輯寫在reduce()方法中
Reducetask進程對每一組相同k的<k,v>組調(diào)用一次reduce()方法
Driver階段
整個程序需要一個Drvier來進行提交，提交的是一個描述了各種必要信息的job對象
