前言 之前知道checkpoint是在job執(zhí)行后完成的，一直沒理解原理。后來用spark streaming后更迷惑了，眾所周知有些時候需要保...

待續(xù)

待續(xù)

假設(shè)你已經(jīng)了解job是如何被劃分及提交的陨界，若不了解請前往spark streaming 流程詳解 當前位置是JobGenerator類的gene...

更多關(guān)注spark streaming源碼分析之流程詳解 DStreamGraph的作用是什么呢？ DStreamGraph通過持有所有的inp...

jobGenerator做了哪些事情呢痛阻？ 持有一個定時器實例 這個定時器會依據(jù)batchDuration提交GenerateJobs消息菌瘪，也就是...

我們關(guān)注的問題是數(shù)據(jù)是怎么被接收的？又是怎么存儲的阱当？ 數(shù)據(jù)是被executor上的線程receiver接收的俏扩，接收之后交由executor上的線...

1、shufflemanager的實現(xiàn)類：sortshufflemanager Spark 0.8及以前 Hash Based Shuffle ...

checkpoint： checkpoint都放啥子弊添？ Metadata checkpointing : 保存流計算的定義信息到容錯存儲系統(tǒng)如 ...