DataStream是Flink API中最核心的數(shù)據(jù)結(jié)構(gòu)红且,代表一個(gè)運(yùn)行在多個(gè)分區(qū)上的并行流坝茎。
1.map&flatMap
屏幕快照 2019-03-19 下午3.30.50.png
2.filter
屏幕快照 2019-03-19 下午3.49.35.png
3.keyBy
屏幕快照 2019-03-19 下午3.50.17.png
4.KeyedStream
屏幕快照 2019-03-19 下午3.54.17.png
5.reduce&fold&Aggregations
屏幕快照 2019-03-19 下午3.56.11.png
maxBy返回最大值的元素,max只返回最大值暇番,其他的不變
6.Interval Join
屏幕快照 2019-03-19 下午4.52.54.png
7.connect & union
屏幕快照 2019-03-19 下午4.54.05.png
coMap和CoFlatMap分別是作用在ConnectedStreams嗤放,ConnectedStreams->DataStream
8.split & select
屏幕快照 2019-03-19 下午5.02.49.png
9.project
屏幕快照 2019-03-19 下午5.11.24.png
屏幕快照 2019-03-19 下午5.11.24.png
10.物理分區(qū)
屏幕快照 2019-03-19 下午5.30.03.png
并行化DataFlow
屏幕快照 2019-03-19 下午5.30.15.png
算子間數(shù)據(jù)傳遞模式
屏幕快照 2019-03-19 下午5.30.57.png
物理分區(qū)
屏幕快照 2019-03-19 下午5.31.30.png
rescale和rebalance區(qū)別:
rescale只在TaskManager內(nèi);rebalance會(huì)在跨TaskManager分配壁酬,有網(wǎng)絡(luò)傳輸代價(jià)次酌,但是數(shù)據(jù)傾斜非常有用。
屏幕快照 2019-03-19 下午5.31.51.png