MapPartition和Map的區(qū)別
在Spark和Flink中有map和mapPartitions算子捆探，處理數(shù)據(jù)上，有一些區(qū)別
主要區(qū)別：
map是對rdd中的每一個元素進行操作；
mapPartitions則是對rdd中的每個分區(qū)的迭代器進行操作
MapPartitions的優(yōu)點：
如果是普通的map稍刀，比如一個partition中有1萬條數(shù)據(jù)孙援。ok，那么你的function要執(zhí)行和計算1萬次挖息。
使用MapPartitions操作之后，一個task僅僅會執(zhí)行一次function兽肤，function一次接收所有
的partition數(shù)據(jù)套腹。只要執(zhí)行一次就可以了绪抛，性能比較高。如果在map過程中需要頻繁創(chuàng)建額外的對象(例如將rdd中的數(shù)據(jù)通過jdbc寫入數(shù)據(jù)庫,map需要為每個元素創(chuàng)建一個鏈接而mapPartition為每個partition創(chuàng)建一個鏈接),則mapPartitions效率比map高的多电禀。
SparkSql或DataFrame默認會對程序進行mapPartition的優(yōu)化幢码。
MapPartitions的缺點：
如果是普通的map操作，一次function的執(zhí)行就處理一條數(shù)據(jù)尖飞；那么如果內(nèi)存不夠用的情況下症副，?比如處理了1千條數(shù)據(jù)了，那么這個時候內(nèi)存不夠了政基，那么就可以將已經(jīng)處理完的1千條數(shù)據(jù)從內(nèi)存里面垃圾回收掉贞铣，或者用其他方法，騰出空間來吧沮明。
所以說普通的map操作通常不會導致內(nèi)存的OOM異常辕坝。
但是MapPartitions操作，對于大量數(shù)據(jù)來說荐健，比如甚至一個partition酱畅，100萬數(shù)據(jù)，
一次傳入一個function以后江场，那么可能一下子內(nèi)存不夠纺酸，但是又沒有辦法去騰出內(nèi)存空間來，可能就OOM址否，內(nèi)存溢出餐蔬。
