Spark core上面有4個流行的框架：SparkSQL、流計(jì)算宾毒、機(jī)器學(xué)習(xí)殿遂、圖計(jì)算。從框架入手可以更清晰地了解Spark Core的內(nèi)容墨礁。
Spark Streaming工作原理：
Spark Sreaming接收實(shí)時輸入數(shù)據(jù)流并將它們按批次劃分恩静，然后交給Spark引擎處理生成按照批次劃分的結(jié)果流蹲坷。
DStream Graph是RDD DAG 的模板邑飒，DStream是邏輯級別的，而RDD是物理級別的县匠。DStream是隨著時間的流動內(nèi)部將集合封裝RDD撒轮。
DStream就是對RDD操作封裝的集合，對DStream操作的transform的操作就會作用于內(nèi)部封裝的集合的每一個RDD兰粉，所以對RDD的操作就產(chǎn)生了RDD之間的依賴關(guān)系就構(gòu)成了DAG的依賴關(guān)系顶瞳。
為什么會對RDD進(jìn)行操作？這個是對DStream操作的業(yè)務(wù)邏輯浊仆，也就是空間維度決定的抡柿，這空間維度作用于DStream這樣一個集合，隨著時間的流逝每個Batch Interval形成了具體的數(shù)據(jù)集產(chǎn)生了RDD洲劣，
對RDD進(jìn)行transform操作囱稽，進(jìn)而形成了RDD的依賴關(guān)系RDD DAG，形成job战惊。然后jobScheduler根據(jù)時間調(diào)度媒熊，基于RDD的依賴關(guān)系谨湘，把作業(yè)發(fā)布到Spark Cluster上去運(yùn)行各拷，不斷的產(chǎn)生Spark作業(yè)烤黍。
基于Spark Core的都是基于RDD編程傻盟，而基于Spark Streaming的則是基于DStream編程嫂丙。DStream就是在RDD的基礎(chǔ)上，加上了時間維度筝闹。
Spark Steaming精妙之處在于Job的劃分只依賴于時間腥光，這最大程度的解耦合糊秆。
Spark Steaming具體的Job運(yùn)行在Spark Cluster之上，系統(tǒng)容錯至關(guān)重要捉片。單個Job的容錯機(jī)制和RDD的容錯機(jī)制相同汞舱，此外還有自己框架的容錯機(jī)制，如可以動態(tài)調(diào)整CPU莹规、線程等資源泌神。
事物處理的關(guān)鍵在于系統(tǒng)崩潰的情況下仍然能保持語意的一致性。
那DStream Graph是根據(jù)什么生成的呢欢际？DStream(離散流)的依賴關(guān)系损趋。
資料來源于：
DT_大數(shù)據(jù)夢工廠（Spark發(fā)行版本定制）微信公眾號：DT_Spark
新浪微博：http://www.weibo.com/ilovepains
如果您對大數(shù)據(jù)Spark感興趣，可以免費(fèi)聽由王家林老師每天晚上20：00開設(shè)的Spark永久免費(fèi)公開課蒋失，地址YY房間號：68917580
