DataStream是Flink API中最核心的數(shù)據(jù)結(jié)構(gòu)红且,代表一個(gè)運(yùn)行在多個(gè)分區(qū)上的并行流坝茎。
1.map&flatMap
2.filter
3.keyBy
4.KeyedStream
5.reduce&fold&Aggregations
maxBy返回最大值的元素,max只返回最大值暇番,其他的不變
6.Interval Join
7.connect & union
coMap和CoFlatMap分別是作用在ConnectedStreams嗤放,ConnectedStreams->DataStream
8.split & select
9.project
10.物理分區(qū)
并行化DataFlow
算子間數(shù)據(jù)傳遞模式
物理分區(qū)
rescale和rebalance區(qū)別:
rescale只在TaskManager內(nèi);rebalance會(huì)在跨TaskManager分配壁酬,有網(wǎng)絡(luò)傳輸代價(jià)次酌,但是數(shù)據(jù)傾斜非常有用。