![240](https://cdn2.jianshu.io/assets/default_avatar/9-cceda3cf5072bcdd77e8ca4f21c40998.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
IP屬地:上海
相比于寬依賴瘦真,窄依賴對優(yōu)化很有利 刊头,主要基于以下兩點: 寬依賴往往對應著shuffle操作,需要在運行過程中將同一個父RDD的分區(qū)傳入到不同...
Spark中RDD的高效與DAG圖有著莫大的關系原杂,在DAG調度中需要對計算過程劃分stage,而劃分依據(jù)就是RDD之間的依賴關系 窄依賴:一個父...
文檔:http://spark.apache.org/docs/latest/rdd-programming-guide.html#resili...
http://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-o...
Leslie