1夺颤、簡(jiǎn)介
RDD（Resilient Distributed Dataset）叫做彈性分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象谣殊，它代表一個(gè)不可變拂共、可分區(qū)、里面的元素可并行計(jì)算的集合姻几。RDD具有數(shù)據(jù)流模型的特點(diǎn)：自動(dòng)容錯(cuò)宜狐、位置感知性調(diào)度和可伸縮性。
2蛇捌、特性
只讀：
RDD在創(chuàng)建之后只允許讀操作抚恒，不允許寫操作，每個(gè)計(jì)算操作都是產(chǎn)生新的RDD
分區(qū)：
RDD會(huì)把其中的元素進(jìn)行partition分區(qū)络拌，計(jì)算是以分區(qū)為單位進(jìn)行
容錯(cuò)：
相比其他系統(tǒng)的細(xì)顆粒度的內(nèi)存數(shù)據(jù)更新級(jí)別的備份或者LOG機(jī)制俭驮，RDD的血緣關(guān)系記錄的是粗顆粒度的特定數(shù)據(jù)Transformation操作（如filter、map春贸、join等）行為混萝。當(dāng)這個(gè)RDD的部分分區(qū)數(shù)據(jù)丟失時(shí)，它可以通過Lineage獲取足夠的信息來重新運(yùn)算和恢復(fù)丟失的數(shù)據(jù)分區(qū)萍恕。因?yàn)檫@種粗顆粒的數(shù)據(jù)模型逸嘀，限制了Spark的運(yùn)用場(chǎng)合，所以Spark并不適用于所有高性能要求的場(chǎng)景允粤，但同時(shí)相比細(xì)顆粒度的數(shù)據(jù)模型崭倘，也帶來了性能的提升。
RDD依賴：
RDD一般由讀取文件或者并行化數(shù)組產(chǎn)生类垫，通過每次的transformation操作都會(huì)產(chǎn)生新的一個(gè)RDD司光，然后RDD之間的依賴關(guān)系稱為血緣，子RDD通過父RDD和算子就能夠得到悉患。
緩存：
RDD可以通過persist方法進(jìn)行緩存操作残家，把RDD放到每個(gè)worker上的executor上，這樣該RDD就可以不用傳給每個(gè)task售躁，增加計(jì)算速度明顯
3跪削、spark代碼運(yùn)行（推薦）
?1）idea等工具運(yùn)行spark代碼谴仙，通過maven構(gòu)建項(xiàng)目引入對(duì)應(yīng)gav
?2）spark-shell交互工具迂求，spark的bin目錄：./bin/spark-shell --master local[4]
可以通過ui進(jìn)行監(jiān)控碾盐，啟動(dòng)日志可以看到監(jiān)聽端口
?3）spark-submit提交，把本地開發(fā)好的項(xiàng)目打成jar包揩局，然后通過spark-submit命令運(yùn)行
4毫玖、創(chuàng)建RDD
其中sc為SparkContext對(duì)象
