- glom
defglom():RDD[Array[T]] 該函數(shù)是將 RDD 中每一個分區(qū)中類型為 T 的元素轉換成 Array[T]飒房，這樣每一個分 區(qū)就只有一個數(shù)組元素雾鬼。
scala>varrdd=sc.makeRDD(1to10,3) rdd:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[38]atmakeRDDat:21 scala>rdd.partitions.size res33:Int=3 //該 RDD 有 3 個分區(qū) scala>rdd.glom().collect res35:Array[Array[Int]]=Array(Array(1,2,3),Array(4,5,6),Array(7,8,9,10)) //glom 將每個分區(qū)中的元素放到一個數(shù)組中膀藐，這樣屠阻，結果就變成了 3 個數(shù)組 - union 并集
valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求并集 valrdd3=rdd1.union(rdd2) rdd3.collect - distinct
去重 valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求并集 valrdd3=rdd1.union(rdd2) //去重輸出 rdd3.distinct.collect - intersection 交集
valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求交集 valrdd4=rdd1.intersection(rdd2) rdd4.collect - subtract
defsubtract(other:RDD[T]):RDD[T] defsubtract(other:RDD[T],numPartitions:Int):RDD[T] def subtract(other: RDD[T], partitioner: Partitioner)(implicit ord: Ordering[T] = null): RDD[T] 該函數(shù)返回在 RDD 中出現(xiàn)，并且不在 otherRDD 中出現(xiàn)的元素额各，不去重国觉。
valrdd1=sc.parallelize(List(5,6,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求差集 valrdd4=rdd1.subtract(rdd2) rdd4.collect - subtractByKey
defsubtractByKeyW(implicitarg0:ClassTag[W]):RDD[(K,V)] def subtractByKey[W](other: RDD[(K, W)], numPartitions: Int)(implicit arg0: ClassTag[W]):RDD[(K,V)] def subtractByKey[W](other: RDD[(K, W)], p: Partitioner)(implicit arg0: ClassTag[W]): RDD[(K,V)]
subtractByKey 和基本轉換操作中的 subtract 類似，只不過這里是針對 K 的虾啦，返回 在主 RDD 中出現(xiàn)麻诀，并且不在 otherRDD 中出現(xiàn)的元素。 參數(shù) numPartitions 用于指定結果的分區(qū)數(shù) 參數(shù) partitioner 用于指定分區(qū)函數(shù)
varrdd1=sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2) varrdd2=sc.makeRDD(Array(("A","a"),("C","c"),("D","d")),2) scala>rdd1.subtractByKey(rdd2).collect res13:Array[(String,String)]=Array((B,2)) - groupbyKey
valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2))) valrdd2=sc.parallelize(List(("jerry",2),("tom",1),("shuke",2))) //求并集 valrdd4=rdd1unionrdd2 //按 key 進行分組 valrdd5=rdd4.groupByKey rdd5.collect - reduceByKey
顧名思義傲醉，reduceByKey 就是對元素為 KV 對的 RDD 中 Key 相同的元素的 Value 進行 reduce蝇闭，因此，Key 相同的多個元素的值被 reduce 為一個值硬毕，然后與原 RDD 中的 Key 組成一個新的 KV 對。 舉例: valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2))) valrdd2=sc.parallelize(List(("jerry",2),("tom",1),("shuke",2))) //求并集 valrdd4=rdd1unionrdd2 //按 key 進行分組 valrdd6=rdd4.reduceByKey(+) rdd6.collect() - sortByKey
將 List(("tom",1),("jerry",3),("kitty",2), ("shuke",1))和 List(("jerry",2),("tom",3), ("shuke",2),("kitty",5))做 wordcount昭殉，并按名稱排序 valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("shuke",1))) valrdd2=sc.parallelize(List(("jerry",2),("tom",3),("shuke",2),("kitty",5))) valrdd3=rdd1.union(rdd2) //按 key 進行聚合 valrdd4=rdd3.reduceByKey(+) //false 降序 valrdd5=rdd4.sortByKey(false) rdd5.collect - sortBy
將 List(("tom",1),("jerry",3),("kitty",2), ("shuke",1))和 List(("jerry",2),("tom",3), ("shuke",2),("kitty",5))做 wordcount，并按數(shù)值排序 valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("shuke",1))) valrdd2=sc.parallelize(List(("jerry",2),("tom",3),("shuke",2),("kitty",5))) valrdd3=rdd1.union(rdd2) //按 key 進行聚合 valrdd4=rdd3.reduceByKey(+)
//false 降序 valrdd5=rdd4.sortBy(_._2,false) rdd5.collect
Spark RDD 函數(shù)大全（11-20）
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門翼雀，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人狼渊，你說我怎么就攤上這事”芬兀” “怎么了？”我有些...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著丧靡，像睡著了一般。 火紅的嫁衣襯著肌膚如雪温治。 梳的紋絲不亂的頭發(fā)上，一...
- 文/蒼蘭香墨 我猛地睜開眼主巍，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了孕索？” 一聲冷哼從身側響起，我...
- 正文 年R本政府宣布矢劲，位于F島的核電站，受9級特大地震影響芬沉，放射性物質發(fā)生泄漏阁猜。R本人自食惡果不足惜，卻給世界環(huán)境...
- 文/蒙蒙 一剃袍、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧捎谨，春花似錦、人聲如沸涛救。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至蹭沛，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間致板，已是汗流浹背。 一陣腳步聲響...
推薦閱讀更多精彩內容
- 常用Transformation(即轉換，延遲加載) 通過并行化scala集合創(chuàng)建RDD val rdd1 = s...
- 摘要： RDD：彈性分布式數(shù)據(jù)集呆躲，是一種特殊集合? 支持多種來源? 有容錯機制? 可以被緩存? 支持并行操作捶索，一個...
