Tuple2(二元組)
Tuple3(三元組)
flatmap,也就是將嵌套集合轉(zhuǎn)換并平鋪成非嵌套集合
Flink適用場(chǎng)景
典型的事件驅(qū)動(dòng)型應(yīng)用實(shí)例
移動(dòng)應(yīng)用中的產(chǎn)品更新及實(shí)驗(yàn)評(píng)估分析
消費(fèi)者技術(shù)中的實(shí)時(shí)數(shù)據(jù)即席分析
大規(guī)模圖分析
Flink核心是一個(gè)流式的數(shù)據(jù)流執(zhí)行引擎漫仆,其針對(duì)數(shù)據(jù)流的分布式計(jì)算提供了數(shù)據(jù)分布泊碑、數(shù)據(jù)通信以及容錯(cuò)機(jī)制等功能坤按。基于流執(zhí)行引擎馒过,F(xiàn)link提供了諸多更高抽象層的API以便用戶編寫分布式任務(wù)臭脓。
DataSet API, 對(duì)靜態(tài)數(shù)據(jù)進(jìn)行批處理操作腹忽,將靜態(tài)數(shù)據(jù)抽象成分布式的數(shù)據(jù)集谢鹊,用戶可以方便地使用Flink提供的各種操作符對(duì)分布式數(shù)據(jù)集進(jìn)行處理,支持Java留凭、Scala和Python佃扼。
DataStream API,對(duì)數(shù)據(jù)流進(jìn)行流處理操作蔼夜,將流式的數(shù)據(jù)抽象成分布式的數(shù)據(jù)流兼耀,用戶可以方便地對(duì)分布式數(shù)據(jù)流進(jìn)行各種操作,支持Java和Scala求冷。
Table API瘤运,對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行查詢操作,將結(jié)構(gòu)化數(shù)據(jù)抽象成關(guān)系表匠题,并通過類SQL的DSL對(duì)關(guān)系表進(jìn)行各種查詢操作拯坟,支持Java和Scala。
Flink ML韭山,F(xiàn)link的機(jī)器學(xué)習(xí)庫(kù)郁季,提供了機(jī)器學(xué)習(xí)Pipelines API并實(shí)現(xiàn)了多種機(jī)器學(xué)習(xí)算法。
Gelly钱磅,F(xiàn)link的圖計(jì)算庫(kù)梦裂,提供了圖計(jì)算的相關(guān)API及多種圖計(jì)算算法實(shí)現(xiàn)。
參考文獻(xiàn):