依賴關(guān)系可以方便任務(wù)調(diào)度
窄依賴：對(duì)RDD執(zhí)行操作后妹蔽，父RDD和子RDD對(duì)應(yīng)關(guān)系的一對(duì)一或多對(duì)一（多對(duì)一只是一個(gè)邏輯上的說(shuō)法赋访，兩個(gè)合并為一個(gè)既沒(méi)有數(shù)據(jù)的傳輸也沒(méi)有發(fā)生shuffle） 那么就是窄依賴。
窄依賴
寬依賴：對(duì)RDD執(zhí)行操作后耕姊，父RDD和子RDD對(duì)應(yīng)關(guān)系是一對(duì)多，那么就是寬依賴栅葡。一般來(lái)說(shuō)會(huì)發(fā)生shuffle(數(shù)據(jù)傳輸)茉兰。也就是說(shuō)一般來(lái)說(shuō)寬依賴與shuffle對(duì)應(yīng)。
寬依賴
寬窄依賴的作用：
下圖是一個(gè)Application
執(zhí)行Application之前會(huì)從最后的RDD（G）回溯
兩個(gè)RDD之間是寬依賴時(shí)會(huì)切分出一個(gè)Stage妥畏。Stage邦邦。前面講過(guò)兩個(gè)RDD之間是寬依賴會(huì)發(fā)生shuffle，因此Stage與Stage之間會(huì)發(fā)生Shuffle醉蚁。
Stage切割規(guī)則
