Kim_小新

前言 單指令流多數(shù)據(jù)流（SIMD）及其衍生出來(lái)的向量化處理技術(shù)已經(jīng)有了相當(dāng)?shù)臍v史电爹，并且也是高性能數(shù)據(jù)庫(kù)擅羞、計(jì)算引擎混狠、多媒體庫(kù)等組件的標(biāo)配利器丽涩。筆者在兩年多前曾經(jīng)做過(guò)一次有關(guān)該主...

Kim_小新

前言 長(zhǎng)久以來(lái)，在YARN集群中部署Flink作業(yè)有兩種模式拄显，即Session Mode和Per-Job Mode苟径，而在Flink 1.11版本中，又引入了第三種全新的模式：...

Kim_小新

前言 很久沒(méi)寫(xiě)過(guò)源碼走讀類(lèi)型的文章了躬审。最近在做業(yè)務(wù)需求時(shí)用Flink的State TTL非常多棘街，今天就來(lái)探索一下吧蟆盐。 從Flink 1.6版本開(kāi)始，社區(qū)為狀態(tài)引入了TTL（t...

Kim_小新

Flink系列文檔腦圖 由于源碼分析系列文檔較多拯腮，本人繪制了Flink文檔腦圖。和下面的文檔目錄對(duì)應(yīng)蚁飒。各位讀者可以選擇自己感興趣的模塊閱讀并參與討論动壤。 此腦圖不定期更新中……...

Kim_小新

前言 最近在進(jìn)行StarRocks與數(shù)據(jù)湖集成方面的一些工作（重點(diǎn)是SR 3.2與Paimon 0.6的適配），同時(shí)閱讀和修改了部分代碼淮逻，發(fā)現(xiàn)StarRocks JNI Co...

Kim_小新

前言 為了解決Flink作業(yè)使用RocksDB狀態(tài)后端時(shí)的內(nèi)存超用問(wèn)題，F(xiàn)link早在1.10版本就實(shí)現(xiàn)了RocksDB的托管內(nèi)存（managed memory）機(jī)制筛严。用戶(hù)只...

Kim_小新

Foreword 大數(shù)據(jù)領(lǐng)域SQL化的風(fēng)潮方興未艾（所謂"Everybody knows SQL"），F(xiàn)link自然也不能“免俗”咙崎。Flink SQL是Flink系統(tǒng)內(nèi)部最高...

Kim_小新

前言 好久不見(jiàn)（鞠躬 最近處在轉(zhuǎn)型期优幸，每天忙到飛起，關(guān)注具體技術(shù)細(xì)節(jié)的精力自然就比較少了（上一篇許下的周更承諾也食言了 = =）褪猛。上周幫助他人快速解決了一個(gè)因誤用Flink狀...

Kim_小新

Data Enrichment 在流式處理作業(yè)（特別是實(shí)時(shí)數(shù)倉(cāng)ETL作業(yè)）中，我們的數(shù)據(jù)流可以視為無(wú)界事實(shí)表使兔，其中往往缺乏一些維度信息建钥。例如，對(duì)于埋點(diǎn)日志流而言虐沥，為了減少傳輸...

Kim_小新

前言 祝廣大女性節(jié)日快樂(lè)~ 快問(wèn)快答 Flink DataStream API中的RichFunction有哪些用途/特點(diǎn)熊经？RichFunction中獲取到的RuntimeC...

Kim_小新

前言 這篇從半個(gè)月前就開(kāi)始寫(xiě)，斷斷續(xù)續(xù)寫(xiě)到現(xiàn)在欲险，終于能發(fā)了（被簡(jiǎn)書(shū)吞了好幾次）镐依，不容易。 最近筆者正在補(bǔ)習(xí)與RocksDB底層相關(guān)的細(xì)節(jié)盯荤，因?yàn)椋?次要原因——當(dāng)前所有Flin...