1. Spark是什么

Spark琅绅，是一種通用的大數(shù)據(jù)計(jì)算框架营密，正如傳統(tǒng)大數(shù)據(jù)技術(shù)Hadoop的MapReduce裸违、Hive引擎呢岗，以及Storm流式實(shí)時(shí)計(jì)算引擎等湃鹊。
Spark包含了大數(shù)據(jù)領(lǐng)域常見的各種計(jì)算框架：比如Spark Core用于離線計(jì)算儒喊，Spark SQL用于交互式查詢，Spark Streaming用于實(shí)時(shí)流式計(jì)算币呵，Spark MLlib用于機(jī)器學(xué)習(xí)怀愧，Spark GraphX用于圖計(jì)算。
Spark主要用于大數(shù)據(jù)的計(jì)算余赢，而Hadoop以后主要用于大數(shù)據(jù)的存儲(chǔ)（比如HDFS芯义、Hive、HBase等）没佑，以及資源調(diào)度（Yarn）毕贼。
Spark+Hadoop的組合，是大數(shù)據(jù)領(lǐng)域熱門的組合蛤奢。

2.Spark的介紹

Spark鬼癣，是一種"One Stack to rule them all"的大數(shù)據(jù)計(jì)算框架，期望使用一個(gè)技術(shù)堆棧就完美地解決大數(shù)據(jù)領(lǐng)域的各種計(jì)算任務(wù)啤贩。Apache官方待秃，對(duì)Spark的定義就是：通用的大數(shù)據(jù)快速處理引擎。
Spark使用Spark RDD痹屹、Spark SQL章郁、Spark Streaming、MLlib志衍、GraphX成功解決了大數(shù)據(jù)領(lǐng)域中暖庄，離線批處理、交互式查詢楼肪、實(shí)時(shí)流計(jì)算培廓、機(jī)器學(xué)習(xí)與圖計(jì)算等最重要的任務(wù)和問題。
Spark除了一站式的特點(diǎn)之外春叫，另外一個(gè)最重要的特點(diǎn)肩钠，就是基于內(nèi)存進(jìn)行計(jì)算，從而讓它的速度可以達(dá)到MapReduce暂殖、Hive的數(shù)倍甚至數(shù)十倍价匠！
現(xiàn)在已經(jīng)有很多大公司正在生產(chǎn)環(huán)境下深度地使用Spark作為大數(shù)據(jù)的計(jì)算框架，包括eBay呛每、Yahoo!踩窖、BAT、網(wǎng)易晨横、京東毙石、華為廉沮、大眾點(diǎn)評(píng)、優(yōu)酷土豆徐矩、搜狗等等滞时。
Spark同時(shí)也獲得了多個(gè)世界頂級(jí)IT廠商的支持，包括IBM滤灯、Intel等坪稽。

3. Spark整體架構(gòu)

4.Spark的歷史沿革

·2009年，Spark誕生于伯克利大學(xué)的AMPLab實(shí)驗(yàn)室鳞骤。最出Spark只是一個(gè)實(shí)驗(yàn)性的項(xiàng)目窒百，代碼量非常少，屬于輕量級(jí)的框架豫尽。
·2010年篙梢，伯克利大學(xué)正式開源了Spark項(xiàng)目。
·2013年美旧，Spark成為了Apache基金會(huì)下的項(xiàng)目渤滞，進(jìn)入高速發(fā)展期。第三方開發(fā)者貢獻(xiàn)了大量的代碼榴嗅，活躍度非常高妄呕。
·2014年，Spark以飛快的速度稱為了Apache的頂級(jí)項(xiàng)目嗽测。
·2015年~绪励，Spark在國內(nèi)IT行業(yè)變得愈發(fā)火爆，大量的公司開始重點(diǎn)部署或者使用Spark來替代MapReduce唠粥、Hive疏魏、Storm等傳統(tǒng)的大數(shù)據(jù)計(jì)算框架。

5.Spark的特點(diǎn)

1.速度快：
Spark基于內(nèi)存進(jìn)行計(jì)算（當(dāng)然也有部分計(jì)算基于磁盤晤愧，比如shuffle）大莫。
2.容易上手開發(fā)：
Spark的基于RDD的計(jì)算模型，比Hadoop的基于Map-Reduce的計(jì)算模型要更加易于理解养涮，更加易于上手開發(fā)葵硕，實(shí)現(xiàn)各種復(fù)雜功能眉抬，比如二次排序贯吓、topn等復(fù)雜操作時(shí)，更加便捷蜀变。
3.超強(qiáng)的通用性：
Spark提供了Spark RDD悄谐、Spark SQL、Spark Streaming库北、Spark MLlib爬舰、Spark GraphX等技術(shù)組件们陆，可以一站式地完成大數(shù)據(jù)領(lǐng)域的離線批處理、交互式查詢情屹、流式計(jì)算坪仇、機(jī)器學(xué)習(xí)、圖計(jì)算等常見的任務(wù)垃你。
4.集成Hadoop：
Spark并不是要成為一個(gè)大數(shù)據(jù)領(lǐng)域的“獨(dú)裁者”椅文，一個(gè)人霸占大數(shù)據(jù)領(lǐng)域所有的“地盤”，而是與Hadoop進(jìn)行了高度的集成惜颇，兩者可以完美的配合使用皆刺。Hadoop的HDFS、Hive凌摄、HBase負(fù)責(zé)存儲(chǔ)羡蛾，YARN負(fù)責(zé)資源調(diào)度；Spark復(fù)雜大數(shù)據(jù)計(jì)算锨亏。實(shí)際上痴怨，Hadoop+Spark的組合，是一種“double win”的組合屯伞。
5.極高的活躍度：
Spark目前是Apache基金會(huì)的頂級(jí)項(xiàng)目腿箩，全世界有大量的優(yōu)秀工程師是Spark的committer。并且世界上很多頂級(jí)的IT公司都在大規(guī)模地使用Spark劣摇。

6.Spark VS MapReduce

MapReduce能夠完成的各種離線批處理功能珠移，以及常見算法（比如二次排序、topn等）末融，基于Spark RDD的核心編程钧惧，都可以實(shí)現(xiàn)，并且可以更好地勾习、更容易地實(shí)現(xiàn)浓瞪。而且基于Spark RDD編寫的離線批處理程序，運(yùn)行速度是MapReduce的數(shù)倍巧婶，速度上有非常明顯的優(yōu)勢乾颁。
Spark相較于MapReduce速度快的最主要原因就在于，MapReduce的計(jì)算模型太死板艺栈，必須是map-reduce模式英岭，有時(shí)候即使完成一些諸如過濾之類的操作，也必須經(jīng)過map-reduce過程湿右，這樣就必須經(jīng)過shuffle過程诅妹。而MapReduce的shuffle過程是最消耗性能的，因?yàn)閟huffle中間的過程必須基于磁盤來讀寫。而Spark的shuffle雖然也要基于磁盤吭狡，但是其大量transformation操作尖殃，比如單純的map或者filter等操作，可以直接基于內(nèi)存進(jìn)行pipeline操作划煮，速度性能自然大大提升送丰。
但是Spark也有其劣勢。由于Spark基于內(nèi)存進(jìn)行計(jì)算弛秋，雖然開發(fā)容易蚪战，但是真正面對(duì)大數(shù)據(jù)的時(shí)候（比如一次操作針對(duì)10億以上級(jí)別），在沒有進(jìn)行調(diào)優(yōu)的情況下铐懊，可能會(huì)出現(xiàn)各種各樣的問題邀桑，比如OOM內(nèi)存溢出等等。導(dǎo)致Spark程序可能都無法完全運(yùn)行起來科乎，就報(bào)錯(cuò)掛掉了壁畸，而MapReduce即使是運(yùn)行緩慢，但是至少可以慢慢運(yùn)行完茅茂。
此外捏萍，Spark由于是新崛起的技術(shù)新秀，因此在大數(shù)據(jù)領(lǐng)域的完善程度空闲，肯定不如MapReduce令杈，比如基于HBase、Hive作為離線批處理程序的輸入輸出碴倾，Spark就遠(yuǎn)沒有MapReduce來的完善逗噩。實(shí)現(xiàn)起來非常麻煩。

7.Spark SQL VS Hive

Spark SQL實(shí)際上并不能完全替代Hive跌榔，因?yàn)镠ive是一種基于HDFS的數(shù)據(jù)倉庫异雁，并且提供了基于SQL模型的，針對(duì)存儲(chǔ)了大數(shù)據(jù)的數(shù)據(jù)倉庫僧须，進(jìn)行分布式交互查詢的查詢引擎纲刀。
嚴(yán)格的來說，Spark SQL能夠替代的担平，是Hive的查詢引擎示绊，而不是Hive本身，實(shí)際上即使在生產(chǎn)環(huán)境下暂论，Spark SQL也是針對(duì)Hive數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行查詢面褐，Spark本身自己是不提供存儲(chǔ)的，自然也不可能替代Hive作為數(shù)據(jù)倉庫的這個(gè)功能空另。
Spark SQL的一個(gè)優(yōu)點(diǎn)盆耽，相較于Hive查詢引擎來說蹋砚，就是速度快扼菠，同樣的SQL語句摄杂，可能使用Hive的查詢引擎，由于其底層基于MapReduce循榆，必須經(jīng)過shuffle過程走磁盤析恢，因此速度是非常緩慢的。很多復(fù)雜的SQL語句秧饮，在hive中執(zhí)行都需要一個(gè)小時(shí)以上的時(shí)間映挂。而Spark SQL由于其底層基于Spark自身的基于內(nèi)存的特點(diǎn)，因此速度達(dá)到了Hive查詢引擎的數(shù)倍以上盗尸。
但是Spark SQL由于與Spark一樣柑船，是大數(shù)據(jù)領(lǐng)域的新起的新秀，因此還不夠完善泼各，有少量的Hive支持的高級(jí)特性鞍时，Spark SQL還不支持，導(dǎo)致Spark SQL暫時(shí)還不能完全替代Hive的查詢引擎扣蜻。而只能在部分Spark SQL功能特性可以滿足需求的場景下逆巍，進(jìn)行使用。
而Spark SQL相較于Hive的另外一個(gè)優(yōu)點(diǎn)莽使，就是支持大量不同的數(shù)據(jù)源锐极，包括hive、json芳肌、parquet灵再、jdbc等等。此外亿笤，Spark SQL由于身處Spark技術(shù)堆棧內(nèi)檬嘀，也是基于RDD來工作，因此可以與Spark的其他組件無縫整合使用责嚷，配合起來實(shí)現(xiàn)許多復(fù)雜的功能鸳兽。比如Spark SQL支持可以直接針對(duì)hdfs文件執(zhí)行sql語句！

8.Spark Streaming VS Storm

Spark Streaming與Storm都可以用于進(jìn)行實(shí)時(shí)流計(jì)算罕拂。但是他們兩者的區(qū)別是非常大的揍异。其中區(qū)別之一，就是爆班，Spark Streaming和Storm的計(jì)算模型完全不一樣衷掷，Spark Streaming是基于RDD的，因此需要將一小段時(shí)間內(nèi)的柿菩，比如1秒內(nèi)的數(shù)據(jù)戚嗅，收集起來，作為一個(gè)RDD，然后再針對(duì)這個(gè)batch的數(shù)據(jù)進(jìn)行處理懦胞。而Storm卻可以做到每來一條數(shù)據(jù)替久，都可以立即進(jìn)行處理和計(jì)算。因此躏尉，Spark Streaming實(shí)際上嚴(yán)格意義上來說蚯根，只能稱作準(zhǔn)實(shí)時(shí)的流計(jì)算框架；而Storm是真正意義上的實(shí)時(shí)計(jì)算框架胀糜。
此外颅拦，Storm支持的一項(xiàng)高級(jí)特性，是Spark Streaming暫時(shí)不具備的教藻，即Storm支持在分布式流式計(jì)算程序（Topology）在運(yùn)行過程中距帅，可以動(dòng)態(tài)地調(diào)整并行度，從而動(dòng)態(tài)提高并發(fā)處理能力括堤。而Spark Streaming是無法動(dòng)態(tài)調(diào)整并行度的锥债。
但是Spark Streaming也有其優(yōu)點(diǎn)，首先Spark Streaming由于是基于batch進(jìn)行處理的痊臭，因此相較于Storm基于單條數(shù)據(jù)進(jìn)行處理哮肚，具有數(shù)倍甚至數(shù)十倍的吞吐量。
此外广匙，Spark Streaming由于也身處于Spark生態(tài)圈內(nèi)允趟，因此Spark Streaming可以與Spark Core、Spark SQL鸦致，甚至是Spark MLlib潮剪、Spark GraphX進(jìn)行無縫整合。流式處理完的數(shù)據(jù)分唾，可以立即進(jìn)行各種map抗碰、reduce轉(zhuǎn)換操作，可以立即使用sql進(jìn)行查詢绽乔，甚至可以立即使用machine learning或者圖計(jì)算算法進(jìn)行處理弧蝇。這種一站式的大數(shù)據(jù)處理功能和優(yōu)勢，是Storm無法匹敵的折砸。
因此看疗，綜合上述來看，通常在對(duì)實(shí)時(shí)性要求特別高睦授，而且實(shí)時(shí)數(shù)據(jù)量不穩(wěn)定两芳，比如在白天有高峰期的情況下，可以選擇使用Storm去枷。但是如果是對(duì)實(shí)時(shí)性要求一般怖辆，允許1秒的準(zhǔn)實(shí)時(shí)處理是复，而且不要求動(dòng)態(tài)調(diào)整并行度的話，選擇Spark Streaming是更好的選擇竖螃。