一、Spark 運行架構 Spark 運行架構如下圖：各個RDD之間存在著依賴關系，這些依賴關系形成有向無環(huán)圖DAG，DAGScheduler對這些依賴關系形成的DAG，進行...
發(fā)簡信
IP屬地：四川
-
Spark 源碼解析 : DAGScheduler中的DAG劃分與提交 -
-
do something for myself
-
Structured Streaming 源碼剖析（一）- Source一、trait Source Source 必須不斷地到達數據以進行流式查詢珍手。 Source 必須具有單調遞增的進度概念办铡，用 offset 表示辞做。 Spark 將定期查詢每個...
-
永不止步 Keep Moving
