Flink學(xué)習(xí)筆記之四Time&Window

一.Time

1.DataStream支持3種Time

屏幕快照 2019-03-20 下午8.09.49.png

設(shè)置時間:
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);
不設(shè)置掠械,默認(rèn)是 ProcessTime

2.Timestamp和Watermark

Watermark是用于觸發(fā)事件執(zhí)行降铸。


屏幕快照 2019-03-20 下午8.12.56.png

并行流中的Watermark


屏幕快照 2019-03-20 下午8.14.53.png

生成Watermark

時間順序到達(dá),event單調(diào)遞增


屏幕快照 2019-03-20 下午8.21.35.png

允許固定延遲的Assigner


屏幕快照 2019-03-20 下午8.26.10.png

延遲數(shù)據(jù)處理
屏幕快照 2019-03-20 下午8.26.55.png

3.什么是Window

屏幕快照 2019-03-20 下午8.29.02.png

4.Window分類

屏幕快照 2019-03-20 下午8.32.14.png

5.Window生命周期

屏幕快照 2019-03-20 下午8.33.07.png

6.窗口分配器Window Assigner

屏幕快照 2019-03-20 下午8.34.55.png

Tumbling Window翻滾窗口


屏幕快照 2019-03-20 下午8.35.09.png

屏幕快照 2019-03-20 下午8.36.26.png

Sliding Window滑動窗口


屏幕快照 2019-03-20 下午8.37.42.png

屏幕快照 2019-03-20 下午8.37.49.png

Session Window
屏幕快照 2019-03-20 下午8.38.28.png

屏幕快照 2019-03-20 下午8.38.41.png

Global Window


屏幕快照 2019-03-20 下午8.39.40.png

預(yù)定義Keyed Windows


屏幕快照 2019-03-20 下午8.40.29.png

7.窗口函數(shù)

屏幕快照 2019-03-20 下午8.41.46.png

ReduceFunction


屏幕快照 2019-03-20 下午8.42.55.png

Aggregation Function救斑,ReduceFunction是特殊的聚集函數(shù)


屏幕快照 2019-03-20 下午8.43.04.png

WindowFunction


屏幕快照 2019-03-20 下午8.44.12.png

ProcessWindowFunction,區(qū)別在于多了Context


屏幕快照 2019-03-20 下午8.44.20.png

窗口狀態(tài)


屏幕快照 2019-03-20 下午8.45.49.png

二.Trigger觸發(fā)器

1.觸發(fā)器定義觸發(fā)規(guī)則,一般會有默認(rèn)觸發(fā)

屏幕快照 2019-03-20 下午8.49.20.png

2.EventTimeTrigger源碼

onElement函數(shù):最大時間戳,也就是窗口的邊界,小于Watermark,即可以水位線以前的元素到達(dá)了手幢,可以觸發(fā)窗口計算捷凄,返回FIRE,否則CONTINUE也就是什么都不做


屏幕快照 2019-03-20 下午8.50.25.png

3.內(nèi)置觸發(fā)器

屏幕快照 2019-03-20 下午8.48.05.png

三.Evictors驅(qū)逐器

1.Evictor可以起到過濾作用

屏幕快照 2019-03-20 下午8.53.48.png

2.內(nèi)置Evictor

屏幕快照 2019-03-20 下午8.53.57.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末围来,一起剝皮案震驚了整個濱河市跺涤,隨后出現(xiàn)的幾起案子匈睁,更是在濱河造成了極大的恐慌,老刑警劉巖桶错,帶你破解...
    沈念sama閱讀 206,311評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件航唆,死亡現(xiàn)場離奇詭異,居然都是意外死亡院刁,警方通過查閱死者的電腦和手機糯钙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,339評論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來退腥,“玉大人任岸,你說我怎么就攤上這事〗屏酰” “怎么了享潜?”我有些...
    開封第一講書人閱讀 152,671評論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長嗅蔬。 經(jīng)常有香客問我剑按,道長,這世上最難降的妖魔是什么澜术? 我笑而不...
    開封第一講書人閱讀 55,252評論 1 279
  • 正文 為了忘掉前任艺蝴,我火速辦了婚禮,結(jié)果婚禮上瘪板,老公的妹妹穿的比我還像新娘吴趴。我一直安慰自己,他們只是感情好侮攀,可當(dāng)我...
    茶點故事閱讀 64,253評論 5 371
  • 文/花漫 我一把揭開白布锣枝。 她就那樣靜靜地躺著,像睡著了一般兰英。 火紅的嫁衣襯著肌膚如雪撇叁。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,031評論 1 285
  • 那天畦贸,我揣著相機與錄音陨闹,去河邊找鬼。 笑死薄坏,一個胖子當(dāng)著我的面吹牛趋厉,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播胶坠,決...
    沈念sama閱讀 38,340評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼君账,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了沈善?” 一聲冷哼從身側(cè)響起乡数,我...
    開封第一講書人閱讀 36,973評論 0 259
  • 序言:老撾萬榮一對情侶失蹤椭蹄,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后净赴,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體绳矩,經(jīng)...
    沈念sama閱讀 43,466評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,937評論 2 323
  • 正文 我和宋清朗相戀三年玖翅,在試婚紗的時候發(fā)現(xiàn)自己被綠了翼馆。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,039評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡烧栋,死狀恐怖写妥,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情审姓,我是刑警寧澤珍特,帶...
    沈念sama閱讀 33,701評論 4 323
  • 正文 年R本政府宣布,位于F島的核電站魔吐,受9級特大地震影響扎筒,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜酬姆,卻給世界環(huán)境...
    茶點故事閱讀 39,254評論 3 307
  • 文/蒙蒙 一嗜桌、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧辞色,春花似錦骨宠、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,259評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至立美,卻和暖如春匿又,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背建蹄。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評論 1 262
  • 我被黑心中介騙來泰國打工碌更, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人洞慎。 一個月前我還...
    沈念sama閱讀 45,497評論 2 354
  • 正文 我出身青樓痛单,卻偏偏與公主長得像,于是被迫代替她去往敵國和親劲腿。 傳聞我的和親對象是個殘疾皇子旭绒,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,786評論 2 345

推薦閱讀更多精彩內(nèi)容