發(fā)簡信
IP屬地：浙江
-
StreamingFileSink壓縮與合并小文件
Flink目前對于外部Exectly-Once支持提供了兩種的connector贤重，一個是Flink-Kafka Connector，另一個是Fl...
-
Flink中-C參數(shù)與DistributedCache使用
-C 參數(shù) flink命令下有這樣的一個參數(shù)選項-C或者--classpath清焕，含義解釋： 含義就是：給一個user classloader添加...
-
Flink大禮包
從19年10月份開始決定寫這些東西并蝗，不知不覺寫了43篇文章，真的沒想到自己能夠堅持下來秸妥，每一篇文章都是從自己工作中總結出來的滚停，每寫一個系列都需要...
-
Flink去重第三彈：HyperLogLog去重
HyperLogLog算法 也就是基數(shù)估計統(tǒng)計算法，預估一個集合中不同數(shù)據(jù)的個數(shù)粥惧，也就是我們常說的去重統(tǒng)計键畴，在redis中也存在hyperlog...
-
Flink自定義StreamOperator
在上一篇StreamOperator源碼簡析從源碼角度分析了StreamOperator以及其實現(xiàn)類，此篇幅主要分析一下如何自定義一個Strea...
-
記一次Flink寫入Kafka坑點
最近做了一個將結果數(shù)據(jù)寫入到Kafka的需求突雪，sink部分代碼如下： val kafkaProducer: FlinkKafkaProducer...
-
flink exactly-once系列之兩階段提交實現(xiàn)分析
flink exactly-once系列目錄： 一起惕、TwoPhaseCommitSinkFunction beginTransaction， 開...
-
flink exactly-once系列之兩階段提交概述
flink exactly-once系列目錄： 一咏删、flink Exactly-Once與At-Least-Once 個處理節(jié)點需要接收上游不同...
-
flink時間系統(tǒng)系列之窗口函數(shù)中的應用分析
flink時間系統(tǒng)系列篇幅目錄： 首先會在WindowOperator.open 初始化方法中惹想，注冊了一個名為window-timers 的In...