broadcast 官方文檔描述： 函數(shù)原型： 廣播變量允許程序員將一個(gè)只讀的變量緩存在每臺(tái)機(jī)器上瓦糟，而不用在任務(wù)之間傳遞變量。廣播變量可被用于有...

saveAsTextFile 官方文檔描述： 函數(shù)原型： saveAsTextFile用于將RDD以文本文件的格式存儲(chǔ)到文件系統(tǒng)中。 源碼分析：...

treeAggregate 官方文檔描述： 函數(shù)原型： **可理解為更復(fù)雜的多階aggregate钻注。** 源碼分析： **從源碼中可以看出，tr...

sortBy 官方文檔描述： 函數(shù)原型： **sortBy根據(jù)給定的f函數(shù)將RDD中的元素進(jìn)行排序。** 源碼分析： **從源碼中可以看出章姓，so...

foreach 官方文檔描述： 函數(shù)原型： **foreach用于遍歷RDD,將函數(shù)f應(yīng)用于每一個(gè)元素凡伊。** 源碼分析： 實(shí)例： foreach...

fold 官方文檔描述： 函數(shù)原型： **fold是aggregate的簡(jiǎn)化窒舟，將aggregate中的seqOp和combOp使用同一個(gè)函數(shù)op...

reduce 官方文檔描述： 函數(shù)原型： 根據(jù)映射函數(shù)f，對(duì)RDD中的元素進(jìn)行二元計(jì)算（滿足交換律和結(jié)合律）惠豺，返回計(jì)算結(jié)果银还。 源碼分析： 從源碼...

最近在項(xiàng)目中遇到二次排序的需求，和平常開發(fā)spark的application一樣洁墙，開始查看API蛹疯，編碼，調(diào)試热监，驗(yàn)證結(jié)果捺弦。由于之前對(duì)spark的A...

zipWithIndex 官方文檔描述： 函數(shù)原型： 該函數(shù)將RDD中的元素和這個(gè)元素在RDD中的indices組合起來(lái)孝扛，形成鍵/值對(duì)的RDD列吼。...