經(jīng)典面試題
兩種方式
方式一
1.按照key對數(shù)據(jù)進行聚合(groupByKey)
2.將value轉(zhuǎn)換為數(shù)組,利用scala的sortBy或者sortWith進行排序(mapValues)
缺點:數(shù)據(jù)量太大會OOM
方式二
1.自定義分區(qū)器缕碎,按照key進行分區(qū)鹏氧,使不同的key進到不同的分區(qū)
2.對每個分區(qū)運用spark的排序算子進行排序
經(jīng)典面試題
兩種方式
1.按照key對數(shù)據(jù)進行聚合(groupByKey)
2.將value轉(zhuǎn)換為數(shù)組,利用scala的sortBy或者sortWith進行排序(mapValues)
缺點:數(shù)據(jù)量太大會OOM
1.自定義分區(qū)器缕碎,按照key進行分區(qū)鹏氧,使不同的key進到不同的分區(qū)
2.對每個分區(qū)運用spark的排序算子進行排序