『DT大數(shù)據(jù)夢(mèng)工廠』Spark Streaming--Spark定制班
Spark - andyshar的博客 - 博客頻道 - CSDN.NET
http://blog.csdn.net/andyshar/article/category/5945687/2
0084：StreamingContext告匠、DStream、Receiver深度剖析 - andyshar的博客 - 博客頻道 - CSDN.NET
http://blog.csdn.net/andyshar/article/details/51201893
StreamingContext离唬、DStream后专、Receiver深度剖析本課分成四部分講解，第一部分對(duì)StreamingContext功能及源碼剖析输莺；第二部分對(duì)DStream功能及源碼剖析戚哎；第三部分對(duì)Receiver功能及源碼剖析裸诽；最后一部分將StreamingContext、DStream型凳、Receiver結(jié)合起來(lái)分析其流程丈冬。一、StreamingContext功能及源碼剖析：1甘畅、 通過(guò)Spark Streaming對(duì)象jssc殷蛇，創(chuàng)建應(yīng)用程序主入口，并連上Driver上的接收數(shù)據(jù)服務(wù)端口9999寫入源數(shù)據(jù)：
2橄浓、 Spark Streaming的主要功能有：主程序的入口粒梦；提供了各種創(chuàng)建DStream的方法接收各種流入的數(shù)據(jù)源（例如：Kafka、Flume荸实、Twitter匀们、ZeroMQ和簡(jiǎn)單的TCP套接字等）；通過(guò)構(gòu)造函數(shù)實(shí)例化Spark Streaming對(duì)象時(shí)准给，可以指定master URL泄朴、appName、或者傳入SparkConf配置對(duì)象露氮、或者已經(jīng)創(chuàng)建的SparkContext對(duì)象祖灰；將接收的數(shù)據(jù)流傳入DStreams對(duì)象中；通過(guò)Spark Streaming對(duì)象實(shí)例的start方法啟動(dòng)當(dāng)前應(yīng)用程序的流計(jì)算框架或通過(guò)stop方法結(jié)束當(dāng)前應(yīng)用程序的流計(jì)算框架畔规； 二局扶、DStream功能及源碼剖析：1、 DStream是RDD的模板叁扫，DStream是抽象的三妈，RDD也是抽象2、 DStream的具體實(shí)現(xiàn)子類如下圖所示： 3莫绣、 以StreamingContext實(shí)例的socketTextSteam方法為例畴蒲，其執(zhí)行完的結(jié)果返回DStream對(duì)象實(shí)例，其源碼調(diào)用過(guò)程如下圖：socket.getInputStream獲取數(shù)據(jù)对室，while循環(huán)來(lái)存儲(chǔ)儲(chǔ)蓄數(shù)據(jù)(內(nèi)存模燥、磁盤)三、Receiver功能及源碼剖析：1掩宜、Receiver代表數(shù)據(jù)的輸入蔫骂，接收外部輸入的數(shù)據(jù)，如從Kafka上抓取數(shù)據(jù)锭亏；2纠吴、Receiver運(yùn)行在Worker節(jié)點(diǎn)上；3慧瘤、Receiver在Worker節(jié)點(diǎn)上抓取Kafka分布式消息框架上的數(shù)據(jù)時(shí)戴已，具體實(shí)現(xiàn)類是KafkaReceiver；4锅减、Receiver是抽象類糖儡，其抓取數(shù)據(jù)的實(shí)現(xiàn)子類如下圖所示： 5、 如果上述實(shí)現(xiàn)類都滿足不了您的要求怔匣，您自己可以定義Receiver類握联，只需要繼承Receiver抽象類來(lái)實(shí)現(xiàn)自己子類的業(yè)務(wù)需求。四每瞒、StreamingContext金闽、DStream、Receiver結(jié)合流程分析： （1）inputStream代表了數(shù)據(jù)輸入流(如：Socket剿骨、Kafka代芜、Flume等)（2）Transformation代表了對(duì)數(shù)據(jù)的一系列操作，如flatMap浓利、map等（3）outputStream代表了數(shù)據(jù)的輸出挤庇，例如wordCount中的println方法：數(shù)據(jù)數(shù)據(jù)在流進(jìn)來(lái)之后最終會(huì)生成Job，最終還是基于Spark Core的RDD進(jìn)行執(zhí)行：在處理流進(jìn)來(lái)的數(shù)據(jù)時(shí)是DStream進(jìn)行Transformation由于是StreamingContext所以根本不會(huì)去運(yùn)行贷掖，StreamingContext會(huì)根據(jù)Transformation生成”DStream的鏈條”及DStreamGraph嫡秕，而DStreamGraph就是DAG的模板，這個(gè)模板是被框架托管的苹威。當(dāng)我們指定時(shí)間間隔的時(shí)候昆咽，Driver端就會(huì)根據(jù)這個(gè)時(shí)間間隔來(lái)觸發(fā)Job而觸發(fā)Job的方法就是根據(jù)OutputDStream中指定的具體的function,例如wordcount中print，這個(gè)函數(shù)一定會(huì)傳給ForEachDStream牙甫，它會(huì)把函數(shù)交給最后一個(gè)DStream產(chǎn)生的RDD潮改，也就是RDD的print操作，而這個(gè)操作就是RDD觸發(fā)Action腹暖』阍冢總結(jié)：使用Spark Streaming可以處理各種數(shù)據(jù)來(lái)源類型，如：數(shù)據(jù)庫(kù)脏答、HDFS糕殉，服務(wù)器log日志、網(wǎng)絡(luò)流殖告，其強(qiáng)大超越了你想象不到的場(chǎng)景阿蝶，只是很多時(shí)候大家不會(huì)用，其真正原因是對(duì)Spark黄绩、spark streaming本身不了解羡洁。
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
