持續(xù)更新 技術(shù)積累<br><br>微信公眾號： 猿來思NOTE
發(fā)簡信
IP屬地：福建
-
-
-
Spark shuffle writer源碼解析
Shuffle分類 一個(gè)作業(yè)經(jīng)過spark的DAGSchedule調(diào)度器劃分為多個(gè)stage，同時(shí)有些下游的stage依賴上游的stage，這樣會導(dǎo)致上游的stage做map...
-
-
Spark源碼解析之Shuffle Writer摘要：Shuffle是MapReduce編程模型中最耗時(shí)的一個(gè)步驟，而Spark將Shuffle過程分解成了Shuffle Write和Shuffle Read兩個(gè)過程蛮拔，本文...
-
Spark RDD的基本特征以及源碼解析
RDD是什么 RDD（Resilient Distributed Datasets）可擴(kuò)展的彈性分布式數(shù)據(jù)集述暂，rdd是spark最基本的數(shù)據(jù)抽象，是整個(gè)spark生態(tài)的基石建炫。...
-
-
-
