公眾號[大數(shù)據(jù)技術(shù)與應用實戰(zhàn)]，分享flink、hadoop钠乏、kafka等大數(shù)據(jù)相關(guān)技術(shù)實戰(zhàn)代箭，歡迎關(guān)注墩划。
發(fā)簡信
IP屬地：上海
-
-
Flink實戰(zhàn)之入庫任務調(diào)優(yōu)
背景 在調(diào)試flink寫hdfs和hive時，任務總是報各種各樣的異常嗡综，其中255問題最多乙帮，異常信息如下： 這段異常是yarn報出來的，根本原因是Direct Memory ...
-
Flink實戰(zhàn)之寫Hive性能問題
上一篇中寫了Kafka to Hive的樣例极景，在實際測試過程中察净，發(fā)現(xiàn)性能比較差。 問題1 我使用的是Flink1.11.1版本盼樟，這個版本有個性能上的問題氢卡，見FLINK-191...
-
Flink實戰(zhàn)之Kafka To Hive
背景 傳統(tǒng)的入庫任務一般借助于MapReduce或者Spark來寫hive表，一般都是天級別最多小時級別的任務晨缴。隨著實時性要求越來越高译秦，傳統(tǒng)的入庫不太能滿足需求。Flink完...
-
Flink實戰(zhàn)之合并小文件
背景 Flink的filesystem connector支持寫入hdfs击碗，同時支持基于Checkpoint的滾動策略筑悴，每次做Checkpoint時將inprogress的文...
-
Flink實戰(zhàn)之FileSystem-parquet支持ZSTD壓縮
前言 ZSTD壓縮算法是現(xiàn)在最流行壓縮算法了，有著高壓縮比和壓縮性能強的有點稍途，已經(jīng)被各大框架所使用阁吝。目前hadoop 3.1.0版本已經(jīng)支持ZSTD算法。所以可以使用Flin...
-
Flink實戰(zhàn)之Flink必須依賴Hadoop2.7+晰房？
背景 最近在用filesystem connector來寫hdfs求摇，底層是通過StreamFileSink實現(xiàn)的射沟。在看官方文檔[https://ci.apache.org/p...
-
Flink源碼閱讀之FileSystem Connector
代碼在flink-table-runtime-blink模塊,用戶指南參考官網(wǎng)[https://ci.apache.org/projects/flink/flink-docs...
-
Flink實戰(zhàn)之擴展JDBC Dialect
前言 Flink jdbc connect已經(jīng)為依賴于jdbc進行操作的數(shù)據(jù)庫系統(tǒng)提供了非常完善的功能殊者。對于擴展只需要擴展其Dialect即可。 具體步驟 定義Customi...
-
Flink實戰(zhàn)之Flink SQL connector支持并行度配置
背景 目前flink sql是不支持source/sink并行度配置的验夯，flink sql中各算子并行度默認是根據(jù)source的partition數(shù)或文件數(shù)來決定的猖吴，比如常用...
-
Flink源碼閱讀之Sql-Client的執(zhí)行原理
前言 sql-cli相信大家都用過，通過sql-client.sh embedded啟動就會進入交互界面挥转，每條sql都可以單獨執(zhí)行海蔽。在功能調(diào)試時非常方便，還有進入界面的那個大...
-
Flink實戰(zhàn)之Flink SQL中的Map绑谣、Array党窜、Row
Flink sql支持Map、Array借宵、Row類型幌衣，這幾種類型在DDL中如何定義、如何獲取、如何構(gòu)造豁护，本文做個總結(jié)哼凯。 以如下數(shù)據(jù)作為樣例： 定義 獲取 構(gòu)造
-
Flink源碼閱讀之flink run 背后做了什么
我們經(jīng)常使用flink run命令提交一個jar任務，比如提交到y(tǒng)arn集群楚里，那么執(zhí)行這個命令的背后flink都做了什么断部，能將我們的job提交到集群呢。對此我有興趣一探究竟班缎。...
-
No operators defined in streaming topology. Cannot generate StreamGraph
Flink 1.11版本對Table&SQL模塊進行了重構(gòu)蝴光，廢棄了TableEnvironment.sqlUpdate方法，引入了TableEnvironment.execu...
-
Flink實戰(zhàn)之自定義TableFormat
自定義TableFormat主要包含如下步驟： 實現(xiàn)TableFormatFactory接口 實現(xiàn)SerializationSchemaFactory达址、Deserializa...
-
Dynamic是1.11版本對table重構(gòu)的新的接口虱疏，后者是1.11之前老的接口。
老接口對datastream嚴重依賴Flink實戰(zhàn)之自定義flink sql connector
背景 最近工作中需要自定義開發(fā)一些flink sql的connector苏携，因為官方提供的connector畢竟有限做瞪，在我們工作中可能會用到各種各樣的中間件。所以官方?jīng)]有提供的...
-
補充一下右冻，直接往hdfs寫這個policy是ok的装蓬，但是同樣的代碼應用到寫hive table里面就無法生成目標文件
Flink SQL FileSystem Connector分區(qū)提交與自定義小文件合并策略
本文已授權(quán)「Flink中文社區(qū)」微信公眾號發(fā)布并標注原創(chuàng)。 Prologue 之前筆者在介紹Flink 1.11 Hive Streaming新特性時提到過纱扭，F(xiàn)link SQ...
-
按照樓主的代碼測試之后牍帚，關(guān)鍵日志都打印出來了，也沒任何異常乳蛾，合并后的文件就是沒有是什么情況暗赶，搞了今天也找不出原因，樓主有什么思路嗎肃叶？
Flink SQL FileSystem Connector分區(qū)提交與自定義小文件合并策略
本文已授權(quán)「Flink中文社區(qū)」微信公眾號發(fā)布并標注原創(chuàng)蹂随。 Prologue 之前筆者在介紹Flink 1.11 Hive Streaming新特性時提到過，F(xiàn)link SQ...
-
本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
Flink系列 - 實時數(shù)倉之ETL實戰(zhàn)（二）一蹦魔、概述 ??上一篇實戰(zhàn)中我們已經(jīng)使用ogg實現(xiàn)了mysql數(shù)據(jù)以json的格式同步到了kafka里邊去了激率，也就是說我們的源端的埋點的數(shù)據(jù)已經(jīng)處理好咯；那么接下來我們就可以使...
個人介紹
簡書文章不定期更新勿决，很多沒有從CSDN搬過來乒躺，喜歡的可以去https://blog.csdn.net/weixin_41608066