Kim_小新

前言 單指令流多數(shù)據(jù)流（SIMD）及其衍生出來的向量化處理技術(shù)已經(jīng)有了相當?shù)臍v史砚偶，并且也是高性能數(shù)據(jù)庫造虎、計算引擎巡莹、多媒體庫等組件的標配利器兵迅。筆者在兩年多前曾經(jīng)做過一次有關(guān)該主...

Kim_小新

前言 長久以來泰讽，在YARN集群中部署Flink作業(yè)有兩種模式例衍，即Session Mode和Per-Job Mode，而在Flink 1.11版本中已卸，又引入了第三種全新的模式：...

Kim_小新

前言 很久沒寫過源碼走讀類型的文章了佛玄。最近在做業(yè)務(wù)需求時用Flink的State TTL非常多，今天就來探索一下吧累澡。 從Flink 1.6版本開始翎嫡，社區(qū)為狀態(tài)引入了TTL（t...

Kim_小新

Flink系列文檔腦圖 由于源碼分析系列文檔較多，本人繪制了Flink文檔腦圖绩脆。和下面的文檔目錄對應(yīng)萤厅。各位讀者可以選擇自己感興趣的模塊閱讀并參與討論。 此腦圖不定期更新中……...

Kim_小新

前言 最近在進行StarRocks與數(shù)據(jù)湖集成方面的一些工作（重點是SR 3.2與Paimon 0.6的適配）靴迫，同時閱讀和修改了部分代碼惕味，發(fā)現(xiàn)StarRocks JNI Co...

Kim_小新

前言 為了解決Flink作業(yè)使用RocksDB狀態(tài)后端時的內(nèi)存超用問題主守，F(xiàn)link早在1.10版本就實現(xiàn)了RocksDB的托管內(nèi)存（managed memory）機制禀倔。用戶只...

Kim_小新

Foreword 大數(shù)據(jù)領(lǐng)域SQL化的風(fēng)潮方興未艾（所謂"Everybody knows SQL"）晾咪，F(xiàn)link自然也不能“免俗”涎才。Flink SQL是Flink系統(tǒng)內(nèi)部最高...

Kim_小新

前言 好久不見（鞠躬 最近處在轉(zhuǎn)型期鞋既，每天忙到飛起，關(guān)注具體技術(shù)細節(jié)的精力自然就比較少了（上一篇許下的周更承諾也食言了 = =）耍铜。上周幫助他人快速解決了一個因誤用Flink狀...

Kim_小新

Data Enrichment 在流式處理作業(yè)（特別是實時數(shù)倉ETL作業(yè)）中败徊，我們的數(shù)據(jù)流可以視為無界事實表帚呼，其中往往缺乏一些維度信息。例如，對于埋點日志流而言煤杀，為了減少傳輸...

Kim_小新

前言 祝廣大女性節(jié)日快樂~ 快問快答 Flink DataStream API中的RichFunction有哪些用途/特點眷蜈？RichFunction中獲取到的RuntimeC...

Kim_小新

前言 這篇從半個月前就開始寫，斷斷續(xù)續(xù)寫到現(xiàn)在沈自，終于能發(fā)了（被簡書吞了好幾次）酌儒，不容易。 最近筆者正在補習(xí)與RocksDB底層相關(guān)的細節(jié)枯途，因為： 次要原因——當前所有Flin...