基于Flink實(shí)現(xiàn)開發(fā)能力監(jiān)控平臺(tái)

Tuple2(二元組)
Tuple3(三元組)

flatmap,也就是將嵌套集合轉(zhuǎn)換并平鋪成非嵌套集合

Flink適用場(chǎng)景

典型的事件驅(qū)動(dòng)型應(yīng)用實(shí)例

Flink核心是一個(gè)流式的數(shù)據(jù)流執(zhí)行引擎漫仆,其針對(duì)數(shù)據(jù)流的分布式計(jì)算提供了數(shù)據(jù)分布泊碑、數(shù)據(jù)通信以及容錯(cuò)機(jī)制等功能坤按。基于流執(zhí)行引擎馒过,F(xiàn)link提供了諸多更高抽象層的API以便用戶編寫分布式任務(wù)臭脓。

DataSet API, 對(duì)靜態(tài)數(shù)據(jù)進(jìn)行批處理操作腹忽,將靜態(tài)數(shù)據(jù)抽象成分布式的數(shù)據(jù)集谢鹊,用戶可以方便地使用Flink提供的各種操作符對(duì)分布式數(shù)據(jù)集進(jìn)行處理,支持Java留凭、Scala和Python佃扼。

DataStream API,對(duì)數(shù)據(jù)流進(jìn)行流處理操作蔼夜,將流式的數(shù)據(jù)抽象成分布式的數(shù)據(jù)流兼耀,用戶可以方便地對(duì)分布式數(shù)據(jù)流進(jìn)行各種操作,支持Java和Scala求冷。

Table API瘤运,對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行查詢操作,將結(jié)構(gòu)化數(shù)據(jù)抽象成關(guān)系表匠题,并通過類SQL的DSL對(duì)關(guān)系表進(jìn)行各種查詢操作拯坟,支持Java和Scala。

Flink ML韭山,F(xiàn)link的機(jī)器學(xué)習(xí)庫(kù)郁季,提供了機(jī)器學(xué)習(xí)Pipelines API并實(shí)現(xiàn)了多種機(jī)器學(xué)習(xí)算法。

Gelly钱磅,F(xiàn)link的圖計(jì)算庫(kù)梦裂,提供了圖計(jì)算的相關(guān)API及多種圖計(jì)算算法實(shí)現(xiàn)。

參考文獻(xiàn):

flink計(jì)算模型
map盖淡、fliter年柠、flatmap

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市褪迟,隨后出現(xiàn)的幾起案子冗恨,更是在濱河造成了極大的恐慌答憔,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件掀抹,死亡現(xiàn)場(chǎng)離奇詭異攀唯,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)渴丸,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門侯嘀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人谱轨,你說我怎么就攤上這事戒幔。” “怎么了土童?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵诗茎,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我献汗,道長(zhǎng)敢订,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任罢吃,我火速辦了婚禮楚午,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘尿招。我一直安慰自己矾柜,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布就谜。 她就那樣靜靜地躺著怪蔑,像睡著了一般。 火紅的嫁衣襯著肌膚如雪丧荐。 梳的紋絲不亂的頭發(fā)上缆瓣,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音虹统,去河邊找鬼弓坞。 笑死,一個(gè)胖子當(dāng)著我的面吹牛窟却,可吹牛的內(nèi)容都是我干的昼丑。 我是一名探鬼主播,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼夸赫,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了咖城?” 一聲冷哼從身側(cè)響起茬腿,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤呼奢,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后切平,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體握础,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年悴品,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了禀综。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡苔严,死狀恐怖定枷,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情届氢,我是刑警寧澤欠窒,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站退子,受9級(jí)特大地震影響岖妄,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜寂祥,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一荐虐、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧丸凭,春花似錦缚俏、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至向拆,卻和暖如春亚茬,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背浓恳。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來泰國(guó)打工刹缝, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人颈将。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓梢夯,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親晴圾。 傳聞我的和親對(duì)象是個(gè)殘疾皇子颂砸,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345