MapReduce的執(zhí)行過程主要包含是三個(gè)階段：Map階段、Shuffle階段跋理、Reduce階段
MapReuce 過程分解
Map 階段
- split： 會(huì)將輸入的大文件 split 成一個(gè) HDFS 的 block屎慢，每個(gè) map 處理一個(gè) block 的數(shù)據(jù)
- map：對(duì)輸入分片中的每個(gè)鍵值對(duì)調(diào)用map()函數(shù)進(jìn)行運(yùn)算恩急，然后輸出一個(gè)結(jié)果鍵值對(duì)
Partitioner：對(duì) map 的輸出進(jìn)行partition盛垦，即根據(jù)key或value及reduce的數(shù)量來決定當(dāng)前的這對(duì)鍵值對(duì)最終應(yīng)該交由哪個(gè)reduce處理。默認(rèn)是對(duì)key哈希后再以reduce task數(shù)量取模殖演，默認(rèn)的取模方式只是為了避免數(shù)據(jù)傾斜氧秘。這個(gè) partition 過程可以通過指定 partitioner 自定義
- sort:在溢寫到磁盤之前，使用快排對(duì)緩沖區(qū)數(shù)據(jù)按照partitionIdx, key排序趴久。（每個(gè)partitionIdx表示一個(gè)分區(qū)丸相，一個(gè)分區(qū)對(duì)應(yīng)一個(gè)reduce）
Combiner：如果設(shè)置了Combiner，那么在Sort之后彼棍，還會(huì)對(duì)具有相同key的鍵值對(duì)進(jìn)行合并灭忠，減少溢寫到磁盤的數(shù)據(jù)量膳算。
- spill: map輸出寫在內(nèi)存中的環(huán)形緩沖區(qū)，默認(rèn)當(dāng)緩沖區(qū)滿80%弛作，啟動(dòng)溢寫線程涕蜂，以 round-robin的方式將緩沖的數(shù)據(jù)寫出到 mapreduce.cluster.local.dir 指定的目錄磁盤
- merge：溢寫可能會(huì)生成多個(gè)文件，這時(shí)需要將多個(gè)文件合并成一個(gè)文件映琳。合并的過程中會(huì)不斷地進(jìn)行 sort & combine 操作机隙，最后合并成了一個(gè)已分區(qū)且已排序的文件
Shuffle階段
廣義上Shuffle階段橫跨Map端和Reduce端，在Map端包括Spill過程萨西，在Reduce端包括copy和merge/sort過程有鹿。通常認(rèn)為Shuffle階段就是將map的輸出作為reduce的輸入的過程
- Copy：Reduce端啟動(dòng)一些copy線程，通過HTTP方式將map端輸出文件中屬于自己的部分拉取到本地谎脯。Reduce會(huì)從多個(gè)map端拉取數(shù)據(jù)葱跋，并且每個(gè)map的數(shù)據(jù)都是有序的。
- Merge：Copy過來的數(shù)據(jù)會(huì)先放入內(nèi)存緩沖區(qū)中源梭，這里的緩沖區(qū)比較大娱俺；當(dāng)緩沖區(qū)數(shù)據(jù)量達(dá)到一定閾值時(shí)，將數(shù)據(jù)溢寫到磁盤（與map端類似废麻，溢寫過程會(huì)執(zhí)行 sort & combine）荠卷。如果生成了多個(gè)溢寫文件，它們會(huì)被merge成一個(gè)有序的最終文件烛愧。這個(gè)過程也會(huì)不停地執(zhí)行 sort & combine 操作僵朗。
Reduce階段
- reduce：Shuffle階段最終生成了一個(gè)有序的文件作為Reduce的輸入，對(duì)于該文件中的每一個(gè) <key, [value1,value2...]>調(diào)用reduce()方法屑彻，并將結(jié)果寫到HDFS
