一宪睹、概述
RDD創(chuàng)建后就可以在RDD上進(jìn)行數(shù)據(jù)處理巾腕。RDD支持兩種操作：轉(zhuǎn)換（transformation）您机，即從現(xiàn)有的數(shù)據(jù)集創(chuàng)建一個(gè)新的數(shù)據(jù)集咽安；動(dòng)作（action）蛹疯，即在數(shù)據(jù)集上進(jìn)行計(jì)算后常侣，返回一個(gè)值給Driver程序但狭。
RDD 的轉(zhuǎn)化操作是返回一個(gè)新的 RDD 的操作复隆，比如 map() 和 filter() ，而行動(dòng)操作則是向驅(qū)動(dòng)器程序返回結(jié)果或把結(jié)果寫入外部系統(tǒng)的操作整袁，會(huì)觸發(fā)實(shí)際的計(jì)算菠齿，比如 count() 和 first() 。Spark 對(duì)待轉(zhuǎn)化操作和行動(dòng)操作的方式很不一樣坐昙，因此理解你正在進(jìn)行的操作的類型是很重要的绳匀。如果對(duì)于一個(gè)特定的函數(shù)是屬于轉(zhuǎn)化操作還是行動(dòng)操作感到困惑，你可以看看它的返回值類型：轉(zhuǎn)化操作返回的是 RDD炸客，而行動(dòng)操作返回的是其他的數(shù)據(jù)類型疾棵。
RDD中所有的Transformation都是惰性的，也就是說(shuō)嚷量，它們并不會(huì)直接計(jì)算結(jié)果陋桂。相反的它們只是記住了這些應(yīng)用到基礎(chǔ)數(shù)據(jù)集（例如一個(gè)文件）上的轉(zhuǎn)換動(dòng)作。只有當(dāng)發(fā)生一個(gè)要求返回結(jié)果給Driver的Action時(shí)蝶溶，這些Transformation才會(huì)真正運(yùn)行嗜历。
這個(gè)設(shè)計(jì)讓Spark更加有效的運(yùn)行。
二抖所、RDD支持的常用Transformation如下：
map(func)
返回一個(gè)新的分布式數(shù)據(jù)集梨州，該數(shù)據(jù)集由每一個(gè)輸入元素經(jīng)過(guò)func函數(shù)轉(zhuǎn)換后組成
fitler(func)
返回一個(gè)新的數(shù)據(jù)集，該數(shù)據(jù)集由經(jīng)過(guò)func函數(shù)計(jì)算后返回值為true的輸入元素組成
flatMap(func)
類似于map田轧，但是每一個(gè)輸入元素可以被映射為0或多個(gè)輸出元素（因此func返回一個(gè)序列暴匠，而不是單一元素）
mapPartitions(func)
類似于map，但獨(dú)立地在RDD上每一個(gè)分片上運(yùn)行傻粘，因此在類型為T的RDD上運(yùn)行時(shí)每窖，func函數(shù)類型必須是Iterator[T]=>Iterator[U]
mapPartitionsWithSplit(func)
類似于mapPartitons，但func帶有一個(gè)整數(shù)參數(shù)表示分片的索引值弦悉。因此在類型為T的RDD上運(yùn)行時(shí)窒典，func函數(shù)類型必須是(Int,Iterator[T])=>Iterator[U]
sample(withReplacement,fraction,seed)
根據(jù)fraction指定的比例對(duì)數(shù)據(jù)進(jìn)行采樣，可以選擇是否用隨機(jī)數(shù)進(jìn)行替換稽莉，seed用于隨機(jī)數(shù)生成器種子
union(otherDataSet)
返回一個(gè)新數(shù)據(jù)集瀑志，新數(shù)據(jù)集是由原數(shù)據(jù)集和參數(shù)數(shù)據(jù)集聯(lián)合而成
distinct([numTasks])
返回一個(gè)包含原數(shù)據(jù)集中所有不重復(fù)元素的新數(shù)據(jù)集
groupByKey([numTasks])
在一個(gè)(K,V)數(shù)據(jù)集上調(diào)用，返回一個(gè)(K,Seq[V])對(duì)的數(shù)據(jù)集污秆。注意默認(rèn)情況下劈猪，只有8個(gè)并行任務(wù)來(lái)操作，但是可以傳入一個(gè)可選的numTasks參數(shù)來(lái)改變它
reduceByKey(func,[numTasks])
在一個(gè)(K,V)對(duì)的數(shù)據(jù)集上調(diào)用良拼，返回一個(gè)(K,V)對(duì)的數(shù)據(jù)集战得，使用指定的reduce函數(shù)，將相同的key的值聚合到一起将饺。與groupByKey類似贡避，reduceByKey任務(wù)的個(gè)數(shù)是可以通過(guò)第二個(gè)可選參數(shù)來(lái)設(shè)置的
sortByKey([[ascending],numTasks])
在一個(gè)(K,V)對(duì)的數(shù)據(jù)集上調(diào)用痛黎，K必須實(shí)現(xiàn)Ordered接口，返回一個(gè)按照Key進(jìn)行排序的(K,V)對(duì)數(shù)據(jù)集刮吧。升序或降序由ascending布爾參數(shù)決定
join(otherDataset0,[numTasks])
在類型為(K,V)和(K,W)數(shù)據(jù)集上調(diào)用湖饱，返回一個(gè)相同的key對(duì)應(yīng)的所有元素在一起的(K,(V,W))數(shù)據(jù)集
cogroup(otherDataset,[numTasks])
在類型為(K,V)和(K,W)數(shù)據(jù)集上調(diào)用，返回一個(gè)(K,Seq[V],Seq[W])元祖的數(shù)據(jù)集杀捻。這個(gè)操作也可以稱為groupwith
cartesain(ohterDataset)
笛卡爾積井厌，在類型為T和U類型的數(shù)據(jù)集上調(diào)用，返回一個(gè)(T,U)對(duì)數(shù)據(jù)集(兩兩的元素對(duì))
三致讥、RDD支持的常用action如下表
reduce(func)
通過(guò)函數(shù)func(接收兩個(gè)參數(shù)仅仆，返回一個(gè)參數(shù))聚集數(shù)據(jù)集中的所有元素。這個(gè)功能必須可交換且可關(guān)聯(lián)的垢袱，從而可以正確的并行運(yùn)行
collect()
在驅(qū)動(dòng)程序中墓拜，以數(shù)組形式返回?cái)?shù)據(jù)集中的所有元素。通常在使用filter或者其他操作返回一個(gè)足夠小的數(shù)據(jù)子集后再使用會(huì)比較有用
count()
返回?cái)?shù)據(jù)集元素個(gè)數(shù)
first()
返回?cái)?shù)據(jù)集第一個(gè)元素(類似于take(1))
take(n)
返回一個(gè)由數(shù)據(jù)集前n個(gè)元素組成的數(shù)組
注意 這個(gè)操作目前并非并行執(zhí)行请契，而是由驅(qū)動(dòng)程序計(jì)算所有的元素
takeSample(withReplacement,num,seed)
返回一個(gè)數(shù)組咳榜，該數(shù)組由從數(shù)據(jù)集中隨機(jī)采樣的num個(gè)元素組成，可以選擇是否由隨機(jī)數(shù)替換不足的部分爽锥，seed用戶指定隨機(jī)數(shù)生成器種子
saveAsTextFile(path)
將數(shù)據(jù)集的元素以textfile的形式保存到本地文件系統(tǒng)--HDFS或者任何其他Hadoop支持的文件系統(tǒng)涌韩。對(duì)于每個(gè)元素，Spark將會(huì)調(diào)用toString方法氯夷，將它轉(zhuǎn)換為文件中的文本行
saveAsSequenceFile(path)
將數(shù)據(jù)集中的元素以Hadoop sequencefile的格式保存到指定的目錄下臣樱，可以是本地系統(tǒng)、HDFS或者任何其他的Hadoop支持的文件系統(tǒng)腮考。這個(gè)只限于由key-value對(duì)組成雇毫，并實(shí)現(xiàn)了Hadoop的Writable接口，或者可以隱式的轉(zhuǎn)換為Writable的RDD(Spark包括了基本類型轉(zhuǎn)換踩蔚，例如Int嘴拢、Double、String等)
countByKey()
對(duì)(K,V)類型的RDD有效寂纪，返回一個(gè)(K,Int)對(duì)的map，表示每一個(gè)key對(duì)應(yīng)的元素個(gè)數(shù)
foreach(func)
在數(shù)據(jù)集的每一個(gè)元素上赌结，運(yùn)行函數(shù)func進(jìn)行更新捞蛋。通常用于邊緣效果，例如更新一個(gè)疊加器柬姚，或者和外部存儲(chǔ)系統(tǒng)進(jìn)行交互拟杉，如HBase
