發(fā)簡(jiǎn)信
IP屬地：廣西
-
Flink源碼閱讀（三）--- ExecutionGraph 的生成
本文內(nèi)容是基于Flink 1.9來講解。在執(zhí)行Flink任務(wù)的時(shí)候拌禾，會(huì)涉及到三個(gè)Graph取胎，分別是StreamGraph，JobGraph湃窍，ExecutionGraph闻蛀。其中...
-
Flink 源碼之Credit Based反壓
Flink源碼分析系列文檔目錄 請(qǐng)點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.reibang.com/p/d4a372809e3d] 什么是credit反...
-
如果是磁盤文件，b+Tree 會(huì)比 skiplist 好很多茵休。磁盤查詢性能比內(nèi)存差很多薪棒，所以盡量減少查詢的次數(shù)。
b+ tree 每個(gè)節(jié)點(diǎn)有好多數(shù)據(jù)泽篮，每次查詢可以查詢一批數(shù)據(jù)到內(nèi)存中盗尸。b+ 樹的層數(shù)低柑船，可以減少訪問磁盤的次數(shù)帽撑。Skip List--跳表（全網(wǎng)最詳細(xì)的跳表文章沒有之一）
跳表是一種神奇的數(shù)據(jù)結(jié)構(gòu)，因?yàn)閹缀跛邪姹镜拇髮W(xué)本科教材上都沒有跳表這種數(shù)據(jù)結(jié)構(gòu)鞍时，而且神書《算法導(dǎo)論》亏拉、《算法第四版》這兩本書中也沒有介紹跳表扣蜻。但是跳表插入、刪除及塘、查找元素的...
-
RocksDB 的設(shè)計(jì)依賴于 LSM Tree 的思想笙僚，LSM Tree 的特性就是生成的 sst 都是不可變的問題件芳肌，所以可以保證文件不被修改。
RocksDB系列十二：Checkpoints
??Checkpoint是RocksDB的一個(gè)feature肋层，主要支持對(duì)當(dāng)前正在運(yùn)行的數(shù)據(jù)庫制作一個(gè)snapshot亿笤。Checkpoints是一個(gè)時(shí)間點(diǎn)上的snapshot。...
-
簡(jiǎn)析Flink狀態(tài)生存時(shí)間（State TTL）機(jī)制的底層實(shí)現(xiàn)前言 很久沒寫過源碼走讀類型的文章了栋猖。最近在做業(yè)務(wù)需求時(shí)用Flink的State TTL非常多净薛，今天就來探索一下吧。 從Flink 1.6版本開始蒲拉，社區(qū)為狀態(tài)引入了TTL（t...
-
本地Gitbook安裝和使用（windows下）一肃拜、快速開始 安裝Nodejs教程：http://www.reibang.com/p/cc26e5d0f10f 安裝gitbook npm install gitbook-...
-
Flink Redis Sink用法與支持過期時(shí)間的改進(jìn)
Flink默認(rèn)提供了很多開箱即用的連接器，比如與Kafka雌团、RabbitMQ燃领、HDFS、ElasticSearch等對(duì)接的連接器辱姨。還有一些不那么常用的連接器則由Apache ...
-
用兩階段聚合法解決Flink keyBy()算子傾斜這是上周出現(xiàn)的問題了替久，簡(jiǎn)單做個(gè)記錄凉泄。 有一個(gè)按平臺(tái)類型實(shí)時(shí)統(tǒng)計(jì)用戶活躍的程序，代碼框架如下蚯根。 就是水印→開窗→聚合→輸出的經(jīng)典套路后众。程序正常運(yùn)行一段時(shí)間之后，連續(xù)報(bào)檢查點(diǎn)超時(shí)...
