背景 在調(diào)試flink寫hdfs和hive時素跺，任務總是報各種各樣的異常耗美，其中255問題最多徙融，異常信息如下： 這段異常是yarn報出來的捕犬，根本原因...

上一篇中寫了Kafka to Hive的樣例舍扰，在實際測試過程中坦敌，發(fā)現(xiàn)性能比較差侣诵。 問題1 我使用的是Flink1.11.1版本，這個版本有個性能...

背景 傳統(tǒng)的入庫任務一般借助于MapReduce或者Spark來寫hive表狱窘，一般都是天級別最多小時級別的任務杜顺。隨著實時性要求越來越高，傳統(tǒng)的入...

背景 Flink的filesystem connector支持寫入hdfs蘸炸，同時支持基于Checkpoint的滾動策略躬络，每次做Checkpoin...

前言 ZSTD壓縮算法是現(xiàn)在最流行壓縮算法了，有著高壓縮比和壓縮性能強的有點幻馁，已經(jīng)被各大框架所使用洗鸵。目前hadoop 3.1.0版本已經(jīng)支持ZS...

背景 最近在用filesystem connector來寫hdfs仗嗦，底層是通過StreamFileSink實現(xiàn)的膘滨。在看官方文檔[https://...

代碼在flink-table-runtime-blink模塊,用戶指南參考官網(wǎng)[https://ci.apache.org/projects/f...

前言 Flink jdbc connect已經(jīng)為依賴于jdbc進行操作的數(shù)據(jù)庫系統(tǒng)提供了非常完善的功能。對于擴展只需要擴展其Dialect即可稀拐。...

背景 目前flink sql是不支持source/sink并行度配置的火邓，flink sql中各算子并行度默認是根據(jù)source的partitio...