一句話總結(jié):Mapreduce的原理就是一個(gè)歸并排序持舆。Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的開(kāi)源的分布式并行編程框架。
Map是一個(gè)拆解數(shù)據(jù)塊的過(guò)程伪窖,把數(shù)據(jù)拆成:<key1,value1>這樣的函數(shù)對(duì)逸寓,然后按key的值來(lái)分配數(shù)據(jù)到各自的機(jī)器上分開(kāi)運(yùn)算,返回<key2,list(value2)>覆山;
reduce就是算完之后竹伸,要返回結(jié)果,需要總結(jié)每個(gè)機(jī)器上的結(jié)果簇宽,就和歸并的過(guò)程一樣勋篓,輸入<key2,list(value2)>,返回<key3,value3>