flink算子

flink中提供的大量的算子信轿,下面將介紹常用的算子操作方式:

  • map
    DataStream --> DataStream:輸入一個(gè)參數(shù)產(chǎn)生一個(gè)參數(shù),map的功能是對(duì)輸入的參數(shù)進(jìn)行轉(zhuǎn)換操作接谨。

  • flatMap
    DataStream --> DataStream:輸入一個(gè)參數(shù),產(chǎn)生0、1或者多個(gè)輸出,這個(gè)多用于拆分操作

  • filter
    DataStream --> DataStream:結(jié)算每個(gè)元素的布爾值滚婉,并返回為true的元素

  • keyBy
    DataSteam --> DataStream:邏輯地將一個(gè)流拆分成不相交的分區(qū),每個(gè)分區(qū)包含具有相同key的元素帅刀,在內(nèi)部以hash的形式實(shí)現(xiàn)的让腹。以key來(lái)分組。
    注意:以下類(lèi)型無(wú)法作為key
    1. POJO類(lèi)扣溺,且沒(méi)有實(shí)現(xiàn)hashCode函數(shù)
    2. 任意形式的數(shù)組類(lèi)型

  • reduce
    KeyedStream --> DataStream:滾動(dòng)和并操作骇窍,合并當(dāng)前元素和上一次合并的元素結(jié)果。

  • fold
    KeyedStream --> DataStream:用一個(gè)初始的一個(gè)值锥余,與其每個(gè)元素進(jìn)行滾動(dòng)合并操作腹纳。

  • aggregation
    KeyedStream --> DataStream:分組流數(shù)據(jù)的滾動(dòng)聚合操作:min和minBy的區(qū)別是min返回的是一個(gè)最小值,而minBy返回的是其字段中包含的最小值的元素(同樣元原理適用于max和maxBy)

  • window
    KeyedStream --> DataStream:windows是在一個(gè)分區(qū)的KeyedStreams中定義的驱犹,windows根據(jù)某些特性將每個(gè)key的數(shù)據(jù)進(jìn)行分組(例如:在5s內(nèi)到達(dá)的數(shù)據(jù))嘲恍。

  • windowAll
    DataStream --> AllWindowedStream:Windows可以在一個(gè)常規(guī)的DataStream中定義,Windows根據(jù)某些特性對(duì)所有的流(例如:5s內(nèi)到達(dá)的數(shù)據(jù))雄驹。
    注意:這個(gè)操作在很多情況下都不是并行操作的佃牛,所有的記錄都會(huì)聚集到一個(gè)windowAll操作的任務(wù)中

  • window apply
    WindowedStream --> DataStream
    AllWindowedStream --> DataStream:將一個(gè)通用的函數(shù)作為一個(gè)整體傳遞給window。

  • window reduce
    WindowedStream --> DataStream:給窗口賦予一個(gè)reduce的功能医舆,并返回一個(gè)reduce的結(jié)果俘侠。

  • window fold
    WindowedStream --> DataStream:給窗口賦予一個(gè)fold的功能象缀,并返回一個(gè)fold后的結(jié)果。

  • aggregation on windows
    WindowedStream --> DataStream:對(duì)window的元素做聚合操作爷速,min和minBy的區(qū)別是min返回的是最小值央星,而minBy返回的是包含最小值字段的元素。(同樣原理適用于max和maxBy)

  • union
    DataStream --> DataStream:對(duì)兩個(gè)或兩個(gè)以上的DataStream做union操作遍希,產(chǎn)生一個(gè)包含所有的DataStream元素的新DataStream等曼。
    注意:如果將一個(gè)DataStream和自己做union操作,在新的DataStream中凿蒜,將看到每個(gè)元素重復(fù)兩次

  • window join
    DataStream禁谦,DataStream --> DataStream:根據(jù)給定的key和window對(duì)兩個(gè)DataStream做join操作

  • window coGroup
    DataStream,DataStream --> DataStream:根據(jù)一個(gè)給定的key和window對(duì)兩個(gè)DataStream做CoGroups操作废封。

  • connect
    DataStream州泊,DataStream --> ConnectedStreams:連接兩個(gè)保持她們類(lèi)型的數(shù)據(jù)流。

  • coMap漂洋、coFlatMap
    ConnectedStreams --> DataStream:作用于connected數(shù)據(jù)流上遥皂,功能與map和flatMap一樣。

  • split
    DataStream --> SplitStream:根據(jù)某些特征把一個(gè)DataStream拆分成兩個(gè)或多個(gè)DataStream

  • select
    SplitStream --> DataStream:從一個(gè)SplitStream中獲取一個(gè)或多個(gè)DataStream

  • iterate
    DataStream --> IterativeStream --> DataStream:在流程中創(chuàng)建一個(gè)反饋循環(huán)刽漂,將一個(gè)操作的輸出重定向到之前的操作演训,這對(duì)于定義持續(xù)更新模型的算法來(lái)說(shuō)很有意義的。

  • extract timestamps
    DataStream --> DataStream:提取記錄中的時(shí)間戳來(lái)跟需要事件時(shí)間的window一起發(fā)揮作用贝咙。
    assignTimestamps

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末样悟,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子庭猩,更是在濱河造成了極大的恐慌窟她,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,907評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蔼水,死亡現(xiàn)場(chǎng)離奇詭異震糖,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)趴腋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)吊说,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人优炬,你說(shuō)我怎么就攤上這事疏叨。” “怎么了穿剖?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,298評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵蚤蔓,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我糊余,道長(zhǎng)秀又,這世上最難降的妖魔是什么单寂? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,586評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮吐辙,結(jié)果婚禮上宣决,老公的妹妹穿的比我還像新娘。我一直安慰自己昏苏,他們只是感情好尊沸,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著贤惯,像睡著了一般洼专。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上孵构,一...
    開(kāi)封第一講書(shū)人閱讀 51,488評(píng)論 1 302
  • 那天屁商,我揣著相機(jī)與錄音,去河邊找鬼颈墅。 笑死蜡镶,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的恤筛。 我是一名探鬼主播官还,決...
    沈念sama閱讀 40,275評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼毒坛!你這毒婦竟也來(lái)了望伦?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,176評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤粘驰,失蹤者是張志新(化名)和其女友劉穎屡谐,沒(méi)想到半個(gè)月后述么,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體蝌数,經(jīng)...
    沈念sama閱讀 45,619評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評(píng)論 3 336
  • 正文 我和宋清朗相戀三年度秘,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了顶伞。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,932評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡剑梳,死狀恐怖唆貌,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情垢乙,我是刑警寧澤锨咙,帶...
    沈念sama閱讀 35,655評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站追逮,受9級(jí)特大地震影響酪刀,放射性物質(zhì)發(fā)生泄漏粹舵。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評(píng)論 3 329
  • 文/蒙蒙 一骂倘、第九天 我趴在偏房一處隱蔽的房頂上張望眼滤。 院中可真熱鬧,春花似錦历涝、人聲如沸诅需。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,871評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)堰塌。三九已至,卻和暖如春电爹,著一層夾襖步出監(jiān)牢的瞬間蔫仙,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,994評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工丐箩, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留摇邦,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,095評(píng)論 3 370
  • 正文 我出身青樓屎勘,卻偏偏與公主長(zhǎng)得像施籍,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子概漱,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容