@漠小帆 沒關(guān)系速客，優(yōu)化后對于某些情況還會(huì)不準(zhǔn)：https://github.com/HamaWhiteGG/flink-sql-lineage/issues/32
基于Calcite解析Flink SQL列級數(shù)據(jù)血緣數(shù)據(jù)血緣 數(shù)據(jù)血緣（data lineage）是數(shù)據(jù)治理（data governance）的重要組成部分亩钟，也是元數(shù)據(jù)管理喊暖、數(shù)據(jù)質(zhì)量管理的有力工具翩活。通俗地講逮刨，數(shù)據(jù)血緣就是數(shù)據(jù)在...
背景 Flink LookupTableSource 通過使用流數(shù)據(jù)的一列或者多列的值蠢棱，加載外部存儲(chǔ)數(shù)據(jù)（維表數(shù)據(jù)）笆凌，進(jìn)而完成對流數(shù)據(jù)的字段擴(kuò)展。在維表數(shù)據(jù)不頻繁變更的情況下...
@bobby_ 如果只是單純想 “支持用戶輸入flink sql進(jìn)行作業(yè)提交荒适±嫖酰”，有兩種思路
1. 讀取sql 文件刀诬，用table api 執(zhí)行咽扇；這種方式比較笨拙一點(diǎn)
2. 直接flink sql-client 提交sql 就可以
使Flink SQL Kafka Source支持獨(dú)立設(shè)置并行度前言 社區(qū)在Flink 1.12版本通過FLIP-146[https://cwiki.apache.org/confluence/display/FLINK/FLIP-146...
前言 為了解決Flink作業(yè)使用RocksDB狀態(tài)后端時(shí)的內(nèi)存超用問題，F(xiàn)link早在1.10版本就實(shí)現(xiàn)了RocksDB的托管內(nèi)存（managed memory）機(jī)制陕壹。用戶只...
"s2.id3 = 5" 應(yīng)該是寫錯(cuò)了吧质欲，是 “s1.id3 = 5”
Apache Calcite 簡介不想看文章直接訪問mysql-protocal(Java版本的Mysql)、calcite-test糠馆，這里有關(guān)于Calcite RBO,CBO使用具體用例 1. 什么是Apa...
前言 在有代表性的關(guān)系型數(shù)據(jù)庫如MySQL、SQL Server又碌、Oracle中九昧，數(shù)據(jù)存儲(chǔ)與索引的基本結(jié)構(gòu)就是我們耳熟能詳?shù)腂樹和B+樹绊袋。而在一些主流的NoSQL數(shù)據(jù)庫如HB...
前言 最近正在準(zhǔn)備關(guān)于Flink 1.13 / 1.14版本新特性的內(nèi)部分享，順便做點(diǎn)記錄铸鹰。 又見網(wǎng)絡(luò)緩存 很久沒有聊過Flink的網(wǎng)絡(luò)棧了癌别，但相信大家對網(wǎng)絡(luò)緩存（Netwo...
前言 今天是大年初一，祝各位虎年大吉大利~ 近期受工作變動(dòng)影響蹋笼，博客又荒廢了許久展姐。今天難得有空，就前段時(shí)間內(nèi)部技術(shù)分享里提到的一個(gè)小知識(shí)點(diǎn)來寫幾筆剖毯。 對象重用（object ...
前言 “訪問者模式”在之前的文章里已經(jīng)出現(xiàn)過幾次了诞仓，擇日不如撞日，今天接著聊吧速兔。 The Visitor Pattern 訪問者模式屬于GoF設(shè)計(jì)模式分類中的行為型模式。它的...
前言 今天本應(yīng)放一首適合高考?xì)夥盏母璧幕盍幔羌热皇芤咔橛绊懲七t了涣狗，還是老老實(shí)實(shí)寫點(diǎn)技術(shù)相關(guān)的吧。 對于實(shí)時(shí)的流式處理系統(tǒng)來說舒憾，我們需要關(guān)注數(shù)據(jù)輸入镀钓、計(jì)算和輸出的及時(shí)性，所以處...
Flink源碼分析系列文檔目錄 請點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.reibang.com/p/d4a372809e3d] 從collector...
Flink系列文檔腦圖 由于源碼分析系列文檔較多镀迂，本人繪制了Flink文檔腦圖丁溅。和下面的文檔目錄對應(yīng)。各位讀者可以選擇自己感興趣的模塊閱讀并參與討論探遵。 此腦圖不定期更新中……...
前言 相信我們在初學(xué)Flink SQL時(shí)窟赏，多少遇到過像這樣的錯(cuò)誤信息： 為什么有些下游算子不能接受上游算子發(fā)來的UPDATE和DELETE消息呢？本文以1.13版本為準(zhǔn)來簡單...
前言 之前講解Flink SQL執(zhí)行流程時(shí)留下了代碼生成的坑，在百忙之中抽時(shí)間補(bǔ)一補(bǔ)奏寨。 代碼生成簡介 代碼生成（code generation）是當(dāng)今各種數(shù)據(jù)庫和數(shù)據(jù)處理引擎...
@LittleMagic 催更
淺談Flink SQL代碼生成與UDF重復(fù)調(diào)用的優(yōu)化前言 之前講解Flink SQL執(zhí)行流程時(shí)留下了代碼生成的坑，在百忙之中抽時(shí)間補(bǔ)一補(bǔ)服爷。 代碼生成簡介 代碼生成（code generation）是當(dāng)今各種數(shù)據(jù)庫和數(shù)據(jù)處理引擎...
前言 社區(qū)在Flink 1.12版本通過FLIP-146[https://cwiki.apache.org/confluence/display/FLINK/FLIP-146...
數(shù)據(jù)血緣 數(shù)據(jù)血緣（data lineage）是數(shù)據(jù)治理（data governance）的重要組成部分心褐，也是元數(shù)據(jù)管理舔涎、數(shù)據(jù)質(zhì)量管理的有力工具。通俗地講逗爹，數(shù)據(jù)血緣就是數(shù)據(jù)在...
我想問下 執(zhí)行 DETACH TABLE 和 ATTACH TABLE 時(shí)間間隔里數(shù)據(jù)是不是丟了？
無縫更改ClickHouse物化視圖SELECT邏輯的方法累成狗的一天掘而，繼續(xù)超短文模式挟冠。 在我司的ClickHouse DWS層有一張ReplicatedAggregatingMergeTree引擎的物化視圖袍睡，為近線推薦業(yè)務(wù)提供關(guān)鍵...