Flink:
三種窗口：
1，滾動响驴，就是 5分鐘透且，再5分鐘；
2豁鲤，滑動窗口秽誊， 固定一個長度，然后slide琳骡，會有很多overlap锅论，比如 5分鐘長度， 1分鐘滑動楣号。
3最易，會話窗口，根據(jù)多久沒有收到數(shù)據(jù)比如 2分鐘炫狱，則關(guān)閉窗口藻懒。直到新的數(shù)據(jù)，開啟新窗口视译。
Trigger：
窗口觸發(fā)：
Trigger 提供個三個有用的函數(shù)：
1嬉荆，onElement, onProccessTIme, onEventTime，根據(jù)自己需求判斷是否觸發(fā)窗口計算
比如酷含，可以根據(jù)count 來算鄙早。
也可以根據(jù) 時間， 或者watermark 的大小來計算第美，可以實現(xiàn)非常靈活的計算蝶锋。
waterMark的機制就是在這里實現(xiàn)。
@Override
public TriggerResult onElement(Object element, long timestamp, TimeWindow window, TriggerContext ctx) {
if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {
return TriggerResult.FIRE;
} else {
ctx.registerEventTimeTimer(window.maxTimestamp());
return TriggerResult.CONTINUE;
}
}
public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) {
return time == window.maxTimestamp() ?
TriggerResult.FIRE :
TriggerResult.CONTINUE;
}
Evictor:
提供一些能力什往，在窗口觸發(fā)后扳缕，但是在窗口函數(shù)計算前后， 做一些定制化的事情别威，比如對窗口中元素按需進行修剪躯舔。flink 默認提供的一些Evictor。
CountEvictor：在窗口維護用戶指定數(shù)量的元素省古，如果多于用戶指定的數(shù)量粥庄，從窗口緩沖區(qū)的開頭丟棄多余的元素。
DeltaEvictor：使用 DeltaFunction 和一個閾值豺妓，來計算窗口緩沖區(qū)中的最后一個元素與其余每個元素之間的差值惜互，并刪除差值大于或等于閾值的元素布讹。
TimeEvictor：以毫秒為單位的時間間隔（interval）作為參數(shù)，對于給定的窗口训堆，找到元素中的最大的時間戳max_ts描验，并刪除時間戳小于max_ts - interval的所有元素。
水位線：watermark
水位線為插入到 流記錄里面的特殊標識坑鱼， 一般是用水位線來做窗口觸發(fā)的標識膘流，
比如9：00到10點的窗口，允許10分鐘的延遲鲁沥， 參看寫的文章： http://www.reibang.com/p/a16dd26f96c6
一般就是 水位線 == 窗口末端就 觸發(fā)計算呼股。 watermark = max(eventTime- delay)
State 的概念：
每個計算算子，有時候是需要記錄狀態(tài)画恰，比如 source 可能需要記錄kafka的offset彭谁， 一些聚合算子通常是 增量計算的，也可能在計算你的時候記錄 一些狀態(tài)阐枣。
對于checkpoints 等等也需要記錄當前的一些狀態(tài)马靠，以便從錯誤中恢復(fù)。
另外一個用的比較多的蔼两，就是broadcast甩鳄， 我們可以 通過流broadcast 一些配置信息到 stream 中， 然后在processElemnt中獲取響應(yīng)的broadcast內(nèi)容额划。
這些broadcast 就是存在 state中妙啃，通過 StateDescriptor 就可以獲取。
final MapStateDescriptor<Integer, String> stateDesc = new MapStateDescriptor<>(
"broadcast-state", Integer.class, String.class
);
BroadcastStream<Tuple2<Integer, String>> broadcastStream = ruleStream.broadcast(stateDesc);
//然后通過
ctx.getBroadcastState(descriptor)
對于flink俊戳，有三種存儲state 的組件可以選擇揖赴， inmemory， FileSystem抑胎， rocketdb燥滑。
對于state來說，通常分為 operator state 和 KeyState
對于operator state, 比如我們可以定義為每個 map 做state的記錄阿逃，或者為 map operate實現(xiàn)一些checkpoint函數(shù)铭拧。
checkpoint 函數(shù)就可以從我們的 state中進行恢復(fù)。
對于keyState恃锉，通巢笃校可以對KeyedStream 的聚合狀態(tài)進行 state記錄， 然后在state做自己需要的操作破托，通常數(shù)據(jù)量會比較大肪跋。
在keyState的模型中，還提供很多計算范式土砂，比如TTLState, AggState州既， ReduceState谜洽， 對于 state 的數(shù)據(jù)是可以按需做相應(yīng)的操作的。
Partition：
由于并發(fā)設(shè)置易桃，各個算子之間的并行度 等的設(shè)置褥琐，需要有某中策略，把 上游對的數(shù)據(jù)晤郑， 分配到下游的機器上，不好的分配策略可能會造成數(shù)據(jù)傾斜贸宏。
其中ForwardPartitioner和GlobalPartitioner兩個實現(xiàn)器基本一樣造寝，是將記錄轉(zhuǎn)發(fā)給在本地運行的下游的(歸屬于subtask)的operation
ShufflePartitioner是隨機選擇一個channel
RebalancePartitioner實現(xiàn)了一個輪詢分區(qū)算法
BroadcastPartitioner是將數(shù)據(jù)發(fā)往下游所有節(jié)點
RescalPartitioner是通過輪詢的方式發(fā)往下游
我們完全可以自定義分區(qū)器，比如按照某個key的hash進行分區(qū)吭练，完全是看自己的業(yè)務(wù)需求诫龙。
