談?wù)凪apReduce的概念吟榴、Hadoop MapReduce和Spark基于MR的實(shí)現(xiàn)
什么是MapReduce套腹？
MapReduce是一種分布式海量數(shù)據(jù)處理的編程模型侍郭，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。
有以下幾個(gè)特點(diǎn)：
-
分而治之巍耗，并行處理锌介。
抽象了map和reduce的計(jì)算流程嗜诀，對(duì)于分布式存儲(chǔ)的數(shù)據(jù)可以并行的進(jìn)行map處理，之后在reduce端對(duì)map結(jié)果進(jìn)行匯總孔祸。
-
移動(dòng)計(jì)算而非移動(dòng)數(shù)據(jù)隆敢。
數(shù)據(jù)的計(jì)算傳輸需要大量的磁盤和網(wǎng)絡(luò)IO。MapReduce會(huì)盡量在數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)執(zhí)行計(jì)算崔慧，以減少不必要的開銷筑公。
Hadoop MapReduce
我們常說的MapReduce就是Hadoop MapReduce。
Hadoop MapReduce作業(yè)被分成一系列運(yùn)行在分布式集群中的map任務(wù)和reduce任務(wù)尊浪，每個(gè)任務(wù)都工作在被指定的小的數(shù)據(jù)自己上匣屡，因此負(fù)載是遍布集群中各個(gè)節(jié)點(diǎn)上的封救。
map任務(wù)負(fù)責(zé)數(shù)據(jù)的載入、解析捣作、轉(zhuǎn)換和過濾誉结。MapReduce作業(yè)的輸入是一系列儲(chǔ)存在HDFS中的文件。map任務(wù)的輸出被稱為中間鍵和中間值券躁，會(huì)被發(fā)送到reduce端進(jìn)行后續(xù)處理惩坑。
每個(gè)reduce任務(wù)負(fù)責(zé)處理map任務(wù)輸出結(jié)果的一個(gè)子集。MapReduce確保每個(gè)reduce的輸入都是按鍵排序的也拜。
系統(tǒng)執(zhí)行排序以舒、將map輸出作為輸入傳遞給reduce的過程稱為shuffle。shuffle是MapReduce的心臟慢哈，關(guān)于shuffle詳情請(qǐng)自己搜索蔓钟。
Pig和Hive都是對(duì)MapReduce更高層次的抽象，他們都會(huì)將高級(jí)的語言翻譯成一組MapReduce作業(yè)卵贱，執(zhí)行計(jì)算滥沫。
Spark基于MapReduce實(shí)現(xiàn)
Spark通過借鑒Hadoop MapReduce，繼承了其分布式并行計(jì)算的優(yōu)點(diǎn)键俱，并改進(jìn)了MapReduce的一些缺點(diǎn)兰绣。
Spark并行處理主要基于其內(nèi)部RDD和DAG來實(shí)現(xiàn)。
RDD（彈性分布式數(shù)據(jù)集）：作為Spark基本編程模型编振，它是MapReduce模型的擴(kuò)展和延伸缀辩。其運(yùn)用高效的數(shù)據(jù)共享概念（分區(qū)）和類似MapReduce的操作方式，使得并行計(jì)算能高效的進(jìn)行踪央。
DAG（有向無環(huán)圖）：Spark使用DAG描述了RDD的依賴關(guān)系（寬/窄依賴）臀玄，維護(hù)了RDD間的血緣關(guān)系，減少了迭代過程中數(shù)據(jù)的落地杯瞻，提高了處理效率。
我們提交一個(gè)Spark代碼炫掐，大概執(zhí)行流程如下：
- 根據(jù)行動(dòng)操作劃分job
- 每個(gè)job內(nèi)部根據(jù)寬依賴劃分stage魁莉。stage分為ShuffleMapStage和ResultStage。
- 執(zhí)行stage內(nèi)部的task募胃。每個(gè)stage內(nèi)部會(huì)有許多task旗唁，task是Spark的最小執(zhí)行單元，task的數(shù)量取決于RDD的分區(qū)數(shù)量痹束，spark會(huì)優(yōu)先選擇數(shù)據(jù)所在的節(jié)點(diǎn)啟動(dòng)task检疫。task分為ShuffleMapTask和ResultTask。ShuffleMapTask返回輸出結(jié)果相關(guān)信息供后續(xù)task使用祷嘶；ResultTask根據(jù)結(jié)果大小屎媳，會(huì)選擇丟棄或者返回給Driver端夺溢。
- ......
從上面流程，我們可以簡單總結(jié)：
- Spark通過RDD的分區(qū)烛谊，來保證MR中的并行處理
- Spark通過DAG寬窄依賴风响，優(yōu)化了task計(jì)算流程，減少了數(shù)據(jù)落盤的次數(shù)
- Spark中也會(huì)保障數(shù)據(jù)本地化丹禀，來實(shí)現(xiàn)移動(dòng)計(jì)算而非移動(dòng)數(shù)據(jù)状勤。
Spark與MapReduce比較
- Spark會(huì)中間數(shù)據(jù)放在內(nèi)存中，迭代運(yùn)算效率高双泪。MapReduce的中間計(jì)算結(jié)果保存在磁盤上持搜，勢必影響整體的運(yùn)行速度。
- Spark的容錯(cuò)性高焙矛。Spark的RDD可以根據(jù)血統(tǒng)來重新生成數(shù)據(jù)葫盼，也可以通過checkpoint來實(shí)現(xiàn)容錯(cuò)。
- Spark更加的通用薄扁。Spark提供了許多的算子剪返，可以更便捷的處理數(shù)據(jù)。
參考
《MapReduce設(shè)計(jì)模式》
《Hadoop權(quán)威指南》
《圖解Spark核心技術(shù)與案例實(shí)踐》
參考書籍+個(gè)人理解邓梅，如有偏差脱盲，歡迎交流。
