發(fā)簡(jiǎn)信
IP屬地：北京
-
亂墳地里的黃大仙
七十年代，我們村東頭有個(gè)毛筆廠，做各種各樣的毛筆，遠(yuǎn)銷很多地方。做毛筆要用到兔毛溉箕，所以遠(yuǎn)近有很多養(yǎng)兔子薅兔毛的人家。但上好的毛筆，要用狼毫來(lái)做妆距，...
-
Flink詳解系列之九--反壓機(jī)制和處理反壓是什么 反壓是在實(shí)時(shí)數(shù)據(jù)處理中，數(shù)據(jù)管道某個(gè)節(jié)點(diǎn)上游產(chǎn)生數(shù)據(jù)的速度大于該節(jié)點(diǎn)處理數(shù)據(jù)速度的一種現(xiàn)象函匕。反壓會(huì)從該節(jié)點(diǎn)向上游傳遞娱据，一直到數(shù)據(jù)源，...
-
Flink詳解系列之八--Checkpoint和Savepoint一盅惜、Checkpoint 獲取分布式數(shù)據(jù)流和算子狀態(tài)的一致性快照是Flink容錯(cuò)機(jī)制的核心中剩，這些快照在Flink作業(yè)恢復(fù)時(shí)作為一致性檢查點(diǎn)存在忌穿。...
-
Flink詳解之七--狀態(tài)管理
一、概念 實(shí)時(shí)處理中的很多操作都是一次對(duì)單個(gè)事件做處理结啼，也有一些操作需要?dú)v史事件的信息掠剑，這些操作被稱為有狀態(tài)的。也就是說(shuō)郊愧，所謂的狀態(tài)就是由歷史事...
-
flink算子：union和connect
在合并數(shù)據(jù)流時(shí)澡腾，可以使用union和connect兩種算子，兩者的使用方式如下糕珊。 union 1动分、可以合并兩個(gè)以上的數(shù)據(jù)流；2红选、合并的各實(shí)時(shí)流數(shù)...
-
Flink詳解系列之六--窗口機(jī)制窗口是flink處理無(wú)限流的核心,窗口將流拆分為有限大小的“桶”澜公，我們可以在這些桶上進(jìn)行計(jì)算。 1喇肋、Keyed vs Non-Keyed Win...
-
Flink詳解系列之五--水位線（watermark）1坟乾、概念 在Flink中，水位線是一種衡量Event Time進(jìn)展的機(jī)制蝶防，用來(lái)處理實(shí)時(shí)數(shù)據(jù)中的亂序問(wèn)題的甚侣，通常是水位線和窗口結(jié)合使用來(lái)實(shí)現(xiàn)。 從...
-
Flink詳解系列之四--時(shí)間在流處理場(chǎng)景中间学，處理的是持續(xù)到達(dá)且可能是無(wú)窮的事件流殷费，時(shí)間在這樣的應(yīng)用中是最核心的要素。Flink定義了三種時(shí)間類型： 事件時(shí)間（Event T...
-
Flink詳解系列之二--核心概念一低葫、流處理 在自然環(huán)境中详羡，數(shù)據(jù)的產(chǎn)生原本就是流式的。無(wú)論是來(lái)自 Web 服務(wù)器的事件數(shù)據(jù)嘿悬，證券交易所的交易數(shù)據(jù)实柠，還是來(lái)自工廠車間機(jī)器上的傳感器數(shù)...