發(fā)簡信
IP屬地：北京
-
Spark Streaming Backpressure Rate Control
Spark Streaming整體流程如下圖所示泻骤。圖中左邊部分負(fù)責(zé)流數(shù)據(jù)的接收牡昆，右邊部分負(fù)責(zé)流數(shù)據(jù)的處理已旧。對(duì)于數(shù)據(jù)處理部分拷淘，JobGenerat...
-
Spark TorrentBroadcast
Broadcast 就是將數(shù)據(jù)從一個(gè)節(jié)點(diǎn)發(fā)送到其他各個(gè)節(jié)點(diǎn)上去讲衫。Spark有兩種方式：一種是HttpBroadcast肥印，另一種是TorrentB...
-
RDD介紹
全稱Resilient Distributed Datasets伴箩。Resilient（彈性）：數(shù)據(jù)集的劃分（進(jìn)而決定了并行度）可變 內(nèi)部接口： ...
-
Spark Tungsten Shuffle Write
ShuffleMapTask的runTask()方法 首先得到shuffleManager入愧，shuffleManager分為三種SortShuf...
-
Spark Shuffle Write的演化目前，spark shuffle write有三種方法：hash shuffle嗤谚、sort shuffle和tungsten-sort shuf...
-
Spark Sort Shuffle Write
Spark sort shuffle write的過程大致如下： ShuffleMapTask的runTask()方法 首先得到shuffleM...
-
Spark Sort Shuffle Read
Shuffle read 是等到Mapper stage結(jié)束后才開始讀取數(shù)據(jù)棺蛛。邊讀取數(shù)據(jù)邊處理，數(shù)據(jù)先放在內(nèi)存巩步，最后落盤旁赊。下面先介紹Shuffl...
-
Spark Job 詳細(xì)執(zhí)行流程（二）
Spark Job執(zhí)行流程大體如下：用戶提交Job后會(huì)生成SparkContext對(duì)象，SparkContext向Cluster Manager...
-
Spark Job 詳細(xì)執(zhí)行流程（一）本文以Spark 1.6 Standalone模式為例椅野，介紹用戶提交Spark Job后的Job的執(zhí)行流程终畅。大體流程如下圖所示 用戶提交Job后...