本篇文章是總結(jié)官方文檔給出的MapReduce編程模型
Input and Output types of a MapReduce job:
(input)<k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3>(output)
MapReduce 講解
新的MapReduce使用 mapreduce包下的類進(jìn)行mapreduce job的編寫
-
Mapper
應(yīng)用通過使用 Counter來報告統(tǒng)計數(shù)據(jù)與給定輸出鍵相關(guān)的所有中間值由框架分組，并傳遞到 Reducer來確定最終的輸出岸梨。用戶可以通過指定Comparator 來控制分組，
設(shè)置如下： job.setGroupingComparatorClass(Class)Mapper的輸出經(jīng)過排好序后分區(qū)到每一個Reducer⌒判眨總共的分區(qū)數(shù)量是與reducer的個數(shù)是相同的从绘。用戶可以控制哪一個key去哪一個Reducer通過實現(xiàn)一個通用的 Partitioner
用戶可以選擇一個特定的 combiner游昼，通過如下設(shè)置： Job.setCombinerClass(Class), 通過執(zhí)行中間輸出的本地聚合，將會有效的降低從Mapper到Reducer的數(shù)據(jù)輸出贵涵。
這些中間值，輸出排序總是被簡單的格式化恰画。程序可以控制宾茂，這些中間值的輸出可以被 compressed 并且這個編碼格式可以在Configuration中控制。
Maps數(shù)量的控制拴还，基本上一個hdfs的block分配一個mapper跨晴， 但是可以控制Mapper的數(shù)量，通過如下配置： Configuration.set(MRJobConfig.NUM_MAPS, int)
2 Reducer
在Job中設(shè)置 Reducer的實現(xiàn)類片林，通過如下設(shè)置：Job.setReducerClass(Class)
設(shè)置Reducer的數(shù)量端盆，通過如下設(shè)置： Job.setNumReduceTasks(int)
Reducer有三個主要的階段： shuffle， sort 和 reduce
shuffle
reducer的輸入是mapper中排好序的輸出费封，在這個階段焕妙，框架抓取所有mapper的輸出的相關(guān)分區(qū)，通過HTTP
sort
在此階段弓摘，框架將key進(jìn)行分組（不同的mapper可能輸出相同的key）
shuffle和sort同時發(fā)生焚鹊，當(dāng)mapper輸出被獲取時，他們被合并為 key, list<>
reduce
在這個階段韧献，調(diào)用reduce方法寺旺。 典型的會輸出到文件系統(tǒng)，通過 context.write(WritableComparable, Writable).
應(yīng)用將會使用 Counter（計數(shù)器） 進(jìn)行統(tǒng)計
輸出的數(shù)據(jù)是不排序的势决。
可以將 Reducer的數(shù)量設(shè)置為0
在這種情況下阻塑，mapper的task將會直接將結(jié)果寫入到文件系統(tǒng)中。
Partitioner
Partitioner 控制這些key（map-outputs）是如何進(jìn)行分區(qū)的, 一般來說果复，會對key調(diào)用hash函數(shù)來進(jìn)行分區(qū)陈莽。。分區(qū)的數(shù)量是和reduce的數(shù)量是相同的。
HashPartitioner是默認(rèn)的分區(qū)類
Job Configuration
Job 代表了一個 MapReduce任務(wù)的配置
Job 一般用來配置 Mapper類走搁，combiner独柑，Partitioner, Reducer, InputFormat, OutputFormat.
用戶也可以使用 Configuration.set(String, String)/Configuration.get(String)來設(shè)置/獲取屬性參數(shù)在應(yīng)用中需要用的到的。
當(dāng)有大量的數(shù)據(jù)需要設(shè)置/獲取時私植，通過DistributeCache來進(jìn)行設(shè)置大量的只讀數(shù)據(jù)忌栅。
JOb Input
InputFormat 描述了輸入的規(guī)范在一個Mapreduce Job中
TextInputFormat是默認(rèn)的InputFormat
InputSplit
InputSplit 表示這個一個mapper的被處理的數(shù)據(jù)。
RecordReader
RecordReader 用來在InputSplit中讀<key, value>
Job Output
OutputFormat 描述了在一個Mapreduce中輸出的規(guī)范
TextOutputFormat是默認(rèn)的OutputFormat
OutputCommitter
OutputCommitter 描述了在MapReduce 任務(wù)中如何提交 task的輸出
RecordWriter
RecordWrite將輸出<key, value> 寫入到輸出文件中
