發(fā)簡(jiǎn)信
IP屬地：河北
-
Flink集成iceberg在生產(chǎn)環(huán)境中的實(shí)踐
背景及痛點(diǎn)[#%E8%83%8C%E6%99%AF%E5%8F%8A%E7%97%9B%E7%82%B9]業(yè)務(wù)背景[#%E4%B8%9A%E5%...
-
Flink集成數(shù)據(jù)湖之實(shí)時(shí)數(shù)據(jù)寫入iceberg
背景 隨著大數(shù)據(jù)處理結(jié)果的實(shí)時(shí)性要求越來(lái)越高塑崖，越來(lái)越多的大數(shù)據(jù)處理從離線轉(zhuǎn)到了實(shí)時(shí)贷腕，其中以flink為主的實(shí)時(shí)計(jì)算在大數(shù)據(jù)處理中占有重要地位侵俗。 ...
-
深入解讀flink sql cdc的使用以及源碼分析
前言 flink消費(fèi)cdc數(shù)據(jù)canal formatdebezium formatCanalJson反序列化源碼解析 flink cdc co...
-
flink實(shí)戰(zhàn)-使用自定義聚合函數(shù)統(tǒng)計(jì)網(wǎng)站TP指標(biāo)
背景 自定義聚合函數(shù) 實(shí)例講解 背景 在網(wǎng)站性能測(cè)試中锨用，我們經(jīng)常會(huì)選擇 TP50、TP95 或者 TP99 等作為性能指標(biāo)隘谣。接下來(lái)我們講講這些指...
-
flink教程-詳解flink 1.11 中的CDC (Change Data Capture)
CDC簡(jiǎn)介 Canal CanalJson反序列化源碼解析 CDC簡(jiǎn)介 CDC,Change Data Capture,變更數(shù)據(jù)獲取的簡(jiǎn)稱增拥，使用...
-
詳解flink中Look up維表的使用
背景 LookupableTableSource 實(shí)例講解 源碼解析JdbcTableSourceJdbcLookupFunction 背景 在...
-
聊聊flink 1.11 中的隨機(jī)數(shù)據(jù)生成器- DataGen connector
使用 示例 源碼解析創(chuàng)建TableSource數(shù)據(jù)生成器DataGeneratorDataGenTableSource 使用 在flink 1....
-
Flink源碼分析之深度解讀流式數(shù)據(jù)寫入hive
前言 數(shù)據(jù)流處理hive基本信息獲取流、批判斷寫入格式判斷構(gòu)造分區(qū)提交算子 詳解StreamingFileWriter 簡(jiǎn)述StreamingF...
-
Flink教程-keyby 窗口數(shù)據(jù)傾斜的優(yōu)化
在大數(shù)據(jù)處理領(lǐng)域寻歧，數(shù)據(jù)傾斜是一個(gè)非常常見的問(wèn)題掌栅，今天我們就簡(jiǎn)單講講在flink中如何處理流式數(shù)據(jù)傾斜問(wèn)題。 我們先來(lái)看一個(gè)可能產(chǎn)生數(shù)據(jù)傾斜的sq...