以下文字由小象學(xué)院老師提供
從圖中可以看出來悍引，其實(shí)mapreduce可以分為兩個階段瞧挤，一個map階段，一個reduce階段立帖。他們分別包涵若干個map任務(wù)和若干個reduce任務(wù)单山。下面還有啊碍现，不止圖上啊， 圖上只顯示了一個map任務(wù)和一個reduce任務(wù)米奸，其實(shí)下面還有其他的map任務(wù)和reduce任務(wù)昼接。那，對于map task來講呢悴晰，就是說慢睡，它每一個map task，首先它要從HDFS上面铡溪，基本上是HDFS上啊漂辐，取出若干份數(shù)據(jù)進(jìn)行處理。那每一份數(shù)據(jù)棕硫，大家現(xiàn)在應(yīng)該知道髓涯，就是說，它被稱為input split饲帅，叫一片數(shù)據(jù)或者一份數(shù)據(jù)复凳。但是spark從HDFS上面去獲取數(shù)據(jù)的時候也是用的這個方法瘤泪，也是hadoop之前存在的這種input format形式來取灶泵。那map任務(wù)首先把它加載進(jìn)來以后會把它解析成kye-value形式育八。就是把HDFS上面的數(shù)據(jù)解析成key-value形式，一行一行的key-value赦邻，一行解析成一個key-value髓棋。那你說通過什么標(biāo)準(zhǔn)來執(zhí)行呢？通過什么標(biāo)準(zhǔn)來解釋呢惶洲？就是我剛剛講的input format按声。然后，接下來的這些key-value就會傳輸給用戶編寫的map函數(shù)所運(yùn)行恬吕。然后會在環(huán)形緩沖區(qū)中排序签则，不斷地把排好序的文件到磁盤上落地。對了铐料，這個環(huán)形緩沖區(qū)設(shè)計還是很巧妙的渐裂。從圖中我們可以看到一個分片的過程，一個partition過程钠惩。為什么要有這個過程呢柒凉？就是因?yàn)閙ap任務(wù)它需要按partition的，你指定的怎么分片來確定某個map task產(chǎn)生的文件應(yīng)該被放到那個reduce上去篓跛。所以說膝捞，這邊有個分片任務(wù)。所以愧沟，這個map最終的結(jié)果出來時蔬咬，它一定是一片一片，內(nèi)部已經(jīng)排好序的一個大文件沐寺。這邊排好序了计盒，這邊也排好序了...這個屬于這個reduce task，這個屬于這個reduce task芽丹。下面的map task也一樣北启，傳到相應(yīng)的reduce上去。那另外一點(diǎn)拔第，這個圖上可能沒有顯示出來咕村，還可能有一個combine的過程。如果有combiner的話蚊俺，它就是會提前在本地做一次reduce懈涛。這個什么意思呢？譬如說泳猬，在求和時候批钠，比如說你在本地已經(jīng)有+1宇植，+1，+1....如果你不做combine的話埋心，要把它們一個個1全部傳到遠(yuǎn)端去指郁。如果你在本地做combiner的話，把1加完拷呆，發(fā)現(xiàn)是100闲坎，那好，把100傳過去就可以了茬斧，就是這個意思腰懂。可能不是太確切项秉，大概就是這么個意思绣溜。然后呢，reduce任務(wù)是從各個map任務(wù)拷貝數(shù)據(jù)娄蔼，reduce是主動的要數(shù)據(jù)怖喻，reduce取數(shù)時也是一片一片的取。每一個map任務(wù)已經(jīng)排好序贷屎，然后傳到reduce上罢防，但是，如果這些數(shù)據(jù)超過了一定的值唉侄，譬如說咒吐，到reduce這邊時它的大小超過一定的閾值，那么直接就放到磁盤上面属划，但是小于一定值恬叹，那么直接放在內(nèi)存里面。因?yàn)橥校堰@么多分片包括其他過來的分片合成一個大文件绽昼，要進(jìn)行一個歸并排序。另外一點(diǎn)须蜗，大家注意硅确，因?yàn)槊恳粋€reduce task要從很多的map task上取數(shù)據(jù)，如果說你的這個map task非常多的話明肮，那么這邊有很多很多的小文件菱农，那萬一有很多小文件的話，你看這邊展布在機(jī)器上柿估。問題是循未，一是有很多小文件，而是可能把內(nèi)存擠爆秫舌，內(nèi)存就掛了的妖。最后一點(diǎn)绣檬，到sort階段的時候，reduce任務(wù)會將它們排好序嫂粟，然后做成一個大的文件娇未，傳給用戶編寫好的reduce函數(shù)去運(yùn)行自己。最后去到外部的介質(zhì)上面赋元，這個外部介質(zhì)大多數(shù)是HDFS忘蟹，也有可能是HBASE飒房，或者一些線上的任務(wù)redis搁凸。
