Spark入門(Python)--1.2 RDD操作

轉(zhuǎn)化操作:

RDD的轉(zhuǎn)化操作是返回新的RDD的操作。轉(zhuǎn)化出來(lái)的RDD是惰性求值的藐唠,只有在行動(dòng)操作中用到時(shí)才會(huì)被計(jì)算帆疟。
轉(zhuǎn)化操作雖然是惰性求值的,但是可以通過(guò)運(yùn)行行動(dòng)操作強(qiáng)制執(zhí)行宇立,比如count()踪宠,這種方法可以用于測(cè)試代碼。

示例:filter()過(guò)濾

rdd = sc.textFile("D:/log.txt") sundayrdd = inputRDD.fliter(lambda x: "sunday" in x)
我們使用filter()過(guò)濾了rdd中有“sunday”的行妈嘹。
filter() 或返回一個(gè)全新的RDD柳琢,不會(huì)改變inputRDD。
通過(guò)轉(zhuǎn)化操作润脸,從已經(jīng)存在的RDD中派生出新的RDD柬脸,Spark會(huì)使用譜系圖記錄各個(gè)RDD之前的依賴關(guān)系。

譜系圖

行動(dòng)操作:

行動(dòng)操作會(huì)把計(jì)算結(jié)果返回到驅(qū)動(dòng)器程序或者寫入外部存儲(chǔ)系統(tǒng)中毙驯。因?yàn)樾袆?dòng)操作會(huì)用需要生產(chǎn)實(shí)際的輸出倒堕,它們會(huì)強(qiáng)制執(zhí)行那些求值必須用到的RDD的轉(zhuǎn)化操作。繼續(xù)使用上面的例子爆价。

示例:collect()遍歷

print(sundayrdd.collect())
我們?cè)隍?qū)動(dòng)器程序中使用collect()在本地遍歷了sundayrdd垦巴。需要注意的是collect()會(huì)把RDD拉取到本地媳搪,只有本地機(jī)器的內(nèi)存能夠放的下時(shí)才能使用collect(),不能在大規(guī)模數(shù)據(jù)集上使用。如果需要在大規(guī)模數(shù)據(jù)集上使用可以用foreach().

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末魂那,一起剝皮案震驚了整個(gè)濱河市蛾号,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌涯雅,老刑警劉巖鲜结,帶你破解...
    沈念sama閱讀 217,185評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異活逆,居然都是意外死亡精刷,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門蔗候,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)怒允,“玉大人,你說(shuō)我怎么就攤上這事锈遥∪沂拢” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 163,524評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵所灸,是天一觀的道長(zhǎng)丽惶。 經(jīng)常有香客問(wèn)我,道長(zhǎng)爬立,這世上最難降的妖魔是什么钾唬? 我笑而不...
    開(kāi)封第一講書人閱讀 58,339評(píng)論 1 293
  • 正文 為了忘掉前任痒芝,我火速辦了婚禮锰镀,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘侦讨。我一直安慰自己吟策,他們只是感情好儒士,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,387評(píng)論 6 391
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著檩坚,像睡著了一般着撩。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上效床,一...
    開(kāi)封第一講書人閱讀 51,287評(píng)論 1 301
  • 那天,我揣著相機(jī)與錄音权谁,去河邊找鬼剩檀。 笑死,一個(gè)胖子當(dāng)著我的面吹牛旺芽,可吹牛的內(nèi)容都是我干的沪猴。 我是一名探鬼主播辐啄,決...
    沈念sama閱讀 40,130評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼运嗜!你這毒婦竟也來(lái)了壶辜?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 38,985評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤担租,失蹤者是張志新(化名)和其女友劉穎砸民,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體奋救,經(jīng)...
    沈念sama閱讀 45,420評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡岭参,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,617評(píng)論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了尝艘。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片演侯。...
    茶點(diǎn)故事閱讀 39,779評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖背亥,靈堂內(nèi)的尸體忽然破棺而出秒际,到底是詐尸還是另有隱情,我是刑警寧澤狡汉,帶...
    沈念sama閱讀 35,477評(píng)論 5 345
  • 正文 年R本政府宣布娄徊,位于F島的核電站,受9級(jí)特大地震影響轴猎,放射性物質(zhì)發(fā)生泄漏嵌莉。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,088評(píng)論 3 328
  • 文/蒙蒙 一捻脖、第九天 我趴在偏房一處隱蔽的房頂上張望锐峭。 院中可真熱鬧,春花似錦可婶、人聲如沸沿癞。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,716評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)椎扬。三九已至,卻和暖如春具温,著一層夾襖步出監(jiān)牢的瞬間蚕涤,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,857評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工铣猩, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留揖铜,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,876評(píng)論 2 370
  • 正文 我出身青樓达皿,卻偏偏與公主長(zhǎng)得像天吓,于是被迫代替她去往敵國(guó)和親贿肩。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,700評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容