大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

背景及痛點(diǎn)[#%E8%83%8C%E6%99%AF%E5%8F%8A%E7%97%9B%E7%82%B9]業(yè)務(wù)背景[#%E4%B8%9A%E5%8A%A1%E8%83%8C%...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

背景 隨著大數(shù)據(jù)處理結(jié)果的實(shí)時性要求越來越高，越來越多的大數(shù)據(jù)處理從離線轉(zhuǎn)到了實(shí)時，其中以flink為主的實(shí)時計(jì)算在大數(shù)據(jù)處理中占有重要地位耻矮。 Flink消費(fèi)kafka等實(shí)時...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

前言 flink消費(fèi)cdc數(shù)據(jù)canal formatdebezium formatCanalJson反序列化源碼解析 flink cdc connector背景mysql-...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

背景 自定義聚合函數(shù) 實(shí)例講解 背景 在網(wǎng)站性能測試中，我們經(jīng)常會選擇 TP50忆谓、TP95 或者 TP99 等作為性能指標(biāo)裆装。接下來我們講講這些指標(biāo)的含義、以及在flink中如...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

CDC簡介 Canal CanalJson反序列化源碼解析 CDC簡介 CDC,Change Data Capture,變更數(shù)據(jù)獲取的簡稱倡缠，使用CDC我們可以從數(shù)據(jù)庫中獲取已...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

使用 示例 源碼解析創(chuàng)建TableSource數(shù)據(jù)生成器DataGeneratorDataGenTableSource 使用 在flink 1.11中，內(nèi)置提供了一個Data...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

前言 數(shù)據(jù)流處理hive基本信息獲取流昙沦、批判斷寫入格式判斷構(gòu)造分區(qū)提交算子 詳解StreamingFileWriter 簡述StreamingFileSink 分區(qū)信息提交提...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

在大數(shù)據(jù)處理領(lǐng)域琢唾，數(shù)據(jù)傾斜是一個非常常見的問題，今天我們就簡單講講在flink中如何處理流式數(shù)據(jù)傾斜問題盾饮。 我們先來看一個可能產(chǎn)生數(shù)據(jù)傾斜的sql. 在這個sql里采桃，我們統(tǒng)計(jì)...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

@LittleMagic 嗯，其實(shí)我想看一下hudi是怎么做的丘损，但是一直沒時間研究普办。

Flink SQL FileSystem Connector分區(qū)提交與自定義小文件合并策略

本文已授權(quán)「Flink中文社區(qū)」微信公眾號發(fā)布并標(biāo)注原創(chuàng)。 Prologue 之前筆者在介紹Flink 1.11 Hive Streaming新特性時提到過徘钥，F(xiàn)link SQ...

LittleMagic

6331 22 49

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

樓主衔蹲，想請問幾個問題：
1.在合并的時候，如何保證事務(wù)呈础，也就是合并的同時讀取數(shù)據(jù)不發(fā)生臟讀舆驶。
2.如何保證事務(wù)的完整性呢橱健，如果因?yàn)楦鞣N原因?qū)е率×耍趺椿貪L呢沙廉？

Flink SQL FileSystem Connector分區(qū)提交與自定義小文件合并策略

本文已授權(quán)「Flink中文社區(qū)」微信公眾號發(fā)布并標(biāo)注原創(chuàng)拘荡。 Prologue 之前筆者在介紹Flink 1.11 Hive Streaming新特性時提到過，F(xiàn)link SQ...

LittleMagic

6331 22 49

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

modules概念 通過hive module使用hive函數(shù)內(nèi)置函數(shù)自定義函數(shù) sql 客戶端的使用 原理分析和源碼解析實(shí)現(xiàn) modules概念 flink 提供了一個mo...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

背景 實(shí)例講解引入pom構(gòu)造數(shù)據(jù)源構(gòu)造redis配置實(shí)現(xiàn)RedisMapper 動態(tài)生成key 背景 redis作為一個高吞吐的存儲系統(tǒng)袱结，在生產(chǎn)中有著廣泛的應(yīng)用亮隙，今天我們主要...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

背景 示例 源碼解析AbstractJdbcCatalogPostgresCatalog 背景 1.11.0 之前途凫，用戶如果依賴 Flink 的 source/sink 讀寫...

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)戰(zhàn)

背景zeppelin不提供per job模式實(shí)時平臺開發(fā)周期長 基于zeppelin開發(fā)一個簡易實(shí)時平臺 開發(fā)zeppelin Interpreter提交sql任務(wù)提交jar...