Spark是一個(gè)Apache項(xiàng)目，它被標(biāo)榜為“快如閃電的集群計(jì)算”。它擁有一個(gè)繁榮的開(kāi)源社區(qū)圣蝎，并且是目前最活躍的Apache項(xiàng)目刃宵。
Spark提供了一個(gè)更快、更通用的數(shù)據(jù)處理平臺(tái)徘公。和Hadoop相比组去，Spark可以讓你的程序在內(nèi)存中運(yùn)行時(shí)速度提升100倍，或者在磁盤(pán)上運(yùn)行時(shí)速度提升10倍步淹。同時(shí)spark也讓傳統(tǒng)的mapreducejob開(kāi)發(fā)變得更加簡(jiǎn)單快捷。之前我們大圣眾包小編也為大家整理過(guò)Spark書(shū)單和方法诚撵，而本文將簡(jiǎn)單介紹幾個(gè)經(jīng)典hadoop的mr按理用spark實(shí)現(xiàn)缭裆，來(lái)讓大家熟悉spark的開(kāi)發(fā)。
最大值最小值
求最大值最小值一直是Hadoop的經(jīng)典案例寿烟，我們用Spark來(lái)實(shí)現(xiàn)一下澈驼，借此感受一下spark中mr的思想和實(shí)現(xiàn)方式。話不多說(shuō)直接上code
預(yù)期結(jié)果：
max:1001min:2
思路和hadoop中的mr類似筛武，設(shè)定一個(gè)key缝其，value為需要求最大與最小值的集合，然后再groupBykey聚合在一起處理徘六。第二個(gè)方法就更簡(jiǎn)單内边，性能也更好。
平均值問(wèn)題
求每個(gè)key對(duì)應(yīng)的平均值是常見(jiàn)的案例待锈，在spark中處理類似問(wèn)題常常會(huì)用到combineByKey這個(gè)函數(shù)漠其，詳細(xì)介紹請(qǐng)google一下用法，下面看代碼：
我們讓每個(gè)partiton先求出單個(gè)partition內(nèi)各個(gè)key對(duì)應(yīng)的所有整數(shù)的和sum以及個(gè)數(shù)count竿音，然后返回一個(gè)pair(sum,count)在shuffle后累加各個(gè)key對(duì)應(yīng)的所有sum和count,再相除得到均值.
TopN問(wèn)題
Topn問(wèn)題同樣也是hadoop種體現(xiàn)mr思想的經(jīng)典案例,那么在spark中如何方便快捷的解決呢：
思路很簡(jiǎn)單和屎，把數(shù)據(jù)groupBykey以后按key形成分組然后取每個(gè)分組最大的2個(gè)。預(yù)期結(jié)果：
以上簡(jiǎn)單介紹了一下hadoop中常見(jiàn)的3個(gè)案例在spark中的實(shí)現(xiàn)春瞬。如果讀者們已經(jīng)接觸過(guò)或者寫(xiě)過(guò)一些hadoop的mapreducejob柴信，那么會(huì)不會(huì)覺(jué)得在spark中寫(xiě)起來(lái)方便快捷很多呢。
原文地址：http://www.dashengzb.cn/articles/a-327.html
（更多大數(shù)據(jù)與商業(yè)智能領(lǐng)域干貨宽气、或電子書(shū)随常，可添加個(gè)人微信號(hào)（dashenghuaer))
