一议蟆、方案
使用隨機(jī)key實現(xiàn)雙重聚合
1、原理
2歹篓、使用場景
（1）groupByKey
（2）reduceByKey
比較適合使用這種方式瘫证；join，咱們通常不會這樣來做庄撮，后面會講三種背捌，針對不同的join造成的數(shù)據(jù)傾斜的問題的解決方案。
1洞斯、第一輪聚合的時候毡庆，對key進(jìn)行打散坑赡，將原先一樣的key，變成不一樣的key么抗，相當(dāng)于是將每個key分為多組毅否；
2、先針對多個組蝇刀，進(jìn)行key的局部聚合螟加；接著，再去除掉每個key的前綴吞琐，然后對所有的key捆探，進(jìn)行全局的聚合。
對groupByKey站粟、reduceByKey造成的數(shù)據(jù)傾斜黍图，有比較好的效果。
3奴烙、如果說助被，之前的第一、第二切诀、第三種方案揩环，都沒法解決數(shù)據(jù)傾斜的問題，那么就只能依靠這一種方式了趾牧。
二检盼、流程圖解
image.png
