本文基于spark源碼2.11 1. 前言 shuffle是spark job中一個(gè)重要的階段,發(fā)生在map和reduce之間蹋订,涉及到map到reduce之間的數(shù)據(jù)的移動(dòng)镣奋,以...
![240](https://cdn2.jianshu.io/assets/default_avatar/4-3397163ecdb3855a0a4139c34a695885.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
IP屬地:廣東
本文基于spark源碼2.11 1. 前言 shuffle是spark job中一個(gè)重要的階段,發(fā)生在map和reduce之間蹋订,涉及到map到reduce之間的數(shù)據(jù)的移動(dòng)镣奋,以...