15篇文章 · 27073字 · 9人關(guān)注
-
Spark Streaming資源動態(tài)申請和動態(tài)控制消費速率原理剖析
Spark是粗粒度的，即在默認(rèn)情況下會預(yù)先分配好資源丰泊，再進(jìn)行計算薯定。 好處是資源提前分配好，有計算任務(wù)時就直接使用計算資源瞳购，不用再考慮資源分配话侄。 ...
-
Spark Streaming源碼解讀之?dāng)?shù)據(jù)清理內(nèi)幕徹底解密
SparkStreaming應(yīng)用是持續(xù)不斷地運行著的。如果不對內(nèi)存資源進(jìn)行有效管理学赛，內(nèi)存就有可能很快就耗盡年堆。 SparkStreaming應(yīng)用一...
-
Spark Streaming源碼解讀之No Receivers徹底思考
前面的課程中主要是使用ReceiverInputDStream，是針對Receiver方式開展的剖析盏浇。 企業(yè)級Spark Strea...
-
Spark Streaming源碼解讀之State管理之updateStateByKey和mapWithState解密
從這節(jié)課開始变丧，簡介Spark Streaming的狀態(tài)管理。 SparkStreaming 是按BatchDuration來劃分Job的绢掰，但我們...
-
spark streaming源碼解讀之基于貫通Spark Streaming流計算框架的運行源碼
1在線動態(tài)計算分類最熱門商品案例回顧與演示 我們用SparkStreaming+SparkSQL來實現(xiàn)分類最熱門商品的在線動態(tài)計算痒蓬。代碼如下： ...
-
Spark Streaming源碼解讀之Driver容錯安全性
從數(shù)據(jù)層面，ReceivedBlockTracker為整個SparkStreaming應(yīng)用程序記錄元數(shù)據(jù)信息滴劲。 從調(diào)度層面攻晒，DStreamGra...
-
Spark Streaming源碼解讀之流數(shù)據(jù)不斷接收全生命周期徹底研究和思考
Spark Streaming應(yīng)用程序有以下特點： 1. 不斷持續(xù)接收數(shù)據(jù) 2. Receiver和Driver不在同一節(jié)點中 Spark...
-
Spark Streaming源碼解讀之Receiver生成全生命周期徹底研究和思考
一：Receiver啟動的方式設(shè)想 1.Spark Streaming通過Receiver持續(xù)不斷的從外部數(shù)據(jù)源接收數(shù)據(jù)，并把數(shù)據(jù)匯報給Driv...
-
Spark Streaming源碼解讀之RDD生成全生命周期徹底研究和思考
RDD的三個問題 1.RDD到底是怎么生成的 2.具體執(zhí)行的時候班挖，是否和基于Spark Core上的RDD有所不同炎辨，runtime級別的 3.運...
