11篇文章 · 12201字 · 21人關(guān)注
-
為什么 Spark Streaming + Kafka 無法保證 exactly once？Streaming job 的調(diào)度與執(zhí)行 結(jié)合文章 揭開Spark Streaming神秘面紗④ - job 的提交與執(zhí)行[https://ww...
-
【容錯篇】WAL在Spark Streaming中的應(yīng)用【容錯篇】WAL在Spark Streaming中的應(yīng)用 WAL 即 write ahead log（預(yù)寫日志），是在 1.2 版本中就添加的特...
-
【實戰(zhàn)篇】如何優(yōu)雅的停止你的 Spark Streaming Application
Spark 1.3及其前的版本 你的一個 spark streaming application 已經(jīng)好好運(yùn)行了一段時間了啄糙，這個時候你因為某種原...
-
揭開Spark Streaming神秘面紗⑥ - Spark Streaming結(jié)合 Kafka 兩種不同的數(shù)據(jù)接收方式比較DirectKafkaInputDStream 只在 driver 端接收數(shù)據(jù)际度，所以繼承了 InputDStream，是沒有 receivers...
-
揭開Spark Streaming神秘面紗⑤ - Block 的生成與存儲
ReceiverSupervisorImpl共提供了4個將從 receiver 傳遞過來的數(shù)據(jù)轉(zhuǎn)換成 block 并存儲的方法廉白，分別是： pus...
-
揭開Spark Streaming神秘面紗④ - job 的提交與執(zhí)行
前文揭開Spark Streaming神秘面紗③ - 動態(tài)生成 job[http://www.reibang.com/p/ee84580292...
-
Spark Streaming + Kakfa 編程指北
本文簡述如何結(jié)合 Spark Streaming 和 Kakfa 來做實時計算个初。截止目前（2016-03-27）有兩種方式： 使用 kafka ...
-
揭開Spark Streaming神秘面紗③ - 動態(tài)生成 jobJobScheduler有兩個重要成員，一是上文介紹的 ReceiverTracker猴蹂，負(fù)責(zé)分發(fā) receivers 及源源不斷地接收數(shù)據(jù)院溺；二是...
-
揭開Spark Streaming神秘面紗② - ReceiverTracker 與數(shù)據(jù)導(dǎo)入Spark Streaming 在數(shù)據(jù)接收與導(dǎo)入方面需要滿足有以下三個特點： 兼容眾多輸入源，包括HDFS, Flume, Kafka, Twi...