發(fā)簡信
IP屬地：江蘇
-
-
【Spark Java API】Transformation(12)—zipPartitions霎槐、zip
zipPartitions 官方文檔描述： 函數(shù)原型： 該函數(shù)將兩個分區(qū)RDD按照partition進行合并，形成一個新的RDD梦谜。 源碼分析： 從源碼中可以看出丘跌，zipPar...
-
什么都要會一點幅疼，這樣裝起逼來才不會尷尬。
-
【Spark Java API】Action(6)—saveAsTextFile昼接、saveAsObjectFile
saveAsTextFile 官方文檔描述： 函數(shù)原型： saveAsTextFile用于將RDD以文本文件的格式存儲到文件系統(tǒng)中爽篷。 源碼分析： 從源碼中可以看到，saveA...
-
深入理解elasticsearch elasticsearch外源資源整理：https://github.com/jacksu/awesome-es
-
【Spark Java API】broadcast、accumulator
broadcast 官方文檔描述： 函數(shù)原型： 廣播變量允許程序員將一個只讀的變量緩存在每臺機器上一睁，而不用在任務(wù)之間傳遞變量。廣播變量可被用于有效地給每個節(jié)點一個大輸入數(shù)據(jù)集...
-
【Spark Java API】Action(6)—saveAsTextFile佃却、saveAsObjectFile
saveAsTextFile 官方文檔描述： 函數(shù)原型： saveAsTextFile用于將RDD以文本文件的格式存儲到文件系統(tǒng)中者吁。 源碼分析： 從源碼中可以看到，saveA...
-
【Spark Java API】Action(5)—treeAggregate饲帅、treeReduce
treeAggregate 官方文檔描述： 函數(shù)原型： **可理解為更復(fù)雜的多階aggregate复凳。** 源碼分析： **從源碼中可以看出，treeAggregate函數(shù)先是...
-
【Spark Java API】Action(4)—sortBy、takeOrdered赦邻、takeSample
sortBy 官方文檔描述： 函數(shù)原型： **sortBy根據(jù)給定的f函數(shù)將RDD中的元素進行排序髓棋。** 源碼分析： **從源碼中可以看出，sortBy函數(shù)的實現(xiàn)依賴于sor...
-
【Spark Java API】Action(3)—foreach惶洲、foreachPartition按声、lookup
foreach 官方文檔描述： 函數(shù)原型： **foreach用于遍歷RDD,將函數(shù)f應(yīng)用于每一個元素。** 源碼分析： 實例： foreachPartition 官方文檔描...
-
【Spark Java API】Action(2)—fold恬吕、countByKey
fold 官方文檔描述： 函數(shù)原型： **fold是aggregate的簡化签则，將aggregate中的seqOp和combOp使用同一個函數(shù)op。** 源碼分析： **從源碼...
-
和Spring Boot相關(guān)的一切，涵蓋Java后端技術(shù)棧
-
@MichaelFly 確實java寫的比較丑钠惩，但是為java開發(fā)人員
【Spark Java API】Transformation(1)—mapPartitions柒凉、mapPartitionsWithIndex
mapPartitions 官方文檔描述： **mapPartitions函數(shù)會對每個分區(qū)依次調(diào)用分區(qū)函數(shù)處理，然后將處理的結(jié)果(若干個Iterator)生成新的RDDs妻柒。m...
