IP屬地：青海
-
spark的groupByKey和combineByKey算子的使用情況對比groupByKey和combineByKey算子底層都是調(diào)用了combineByKeyWithClassTag方法扒磁，區(qū)別在于各自方法的傳入的參...
-
spark的join操作當(dāng)我們在操作表進(jìn)行join時(shí)登馒，如何盡可能的避免shuffle過程？ （1）設(shè)置分?jǐn)?shù)函數(shù)和分?jǐn)?shù)數(shù)一樣 兩個(gè)RDD進(jìn)行join操作前囚枪，對其分別執(zhí)行了...
-
創(chuàng)建快照過程中報(bào)異常:SnapshotCreationException業(yè)務(wù)中需要以讀取快照的方式讀取hbase表派诬，剛開始會(huì)重新創(chuàng)建快照，但是遭遇了以下的異常： 首次見到該異常眶拉，不知其意千埃，只能翻看源碼，找到Snaps...
-
spark算子1：repartitionAndSortWithinPartitions
repartitionAndSortWithinPartitions算是一個(gè)高效的算子忆植，是因?yàn)樗仁褂胷epartition And sort...
-
[源碼分析]spark shuffle的讀操作
上一篇解讀了shuffle寫操作的流程放可，相比較shuffle讀操作而言是比較簡單的谒臼；shuffle讀取過程比較耗內(nèi)存，由于在最后會(huì)把所有的數(shù)據(jù)拉...
-
[源碼分析]spark shuffle的寫操作基于spark1.6版本的理解耀里，簡單聊一聊spark shuffle 寫操作的過程蜈缤，以及該過程中可以優(yōu)化的地方；見解粗略冯挎，往提出意見spark1...