背景 在調(diào)試flink寫(xiě)hdfs和hive時(shí)，任務(wù)總是報(bào)各種各樣的異常巷怜，其中255問(wèn)題最多，異常信息如下： 這段異常是yarn報(bào)出來(lái)的挑辆，根本原因...

上一篇中寫(xiě)了Kafka to Hive的樣例笨触，在實(shí)際測(cè)試過(guò)程中，發(fā)現(xiàn)性能比較差丙笋。 問(wèn)題1 我使用的是Flink1.11.1版本谢澈，這個(gè)版本有個(gè)性能...

背景 傳統(tǒng)的入庫(kù)任務(wù)一般借助于MapReduce或者Spark來(lái)寫(xiě)hive表煌贴，一般都是天級(jí)別最多小時(shí)級(jí)別的任務(wù)。隨著實(shí)時(shí)性要求越來(lái)越高锥忿，傳統(tǒng)的入...

背景 Flink的filesystem connector支持寫(xiě)入hdfs牛郑，同時(shí)支持基于Checkpoint的滾動(dòng)策略，每次做Checkpoin...

前言 ZSTD壓縮算法是現(xiàn)在最流行壓縮算法了敬鬓，有著高壓縮比和壓縮性能強(qiáng)的有點(diǎn)淹朋，已經(jīng)被各大框架所使用。目前hadoop 3.1.0版本已經(jīng)支持ZS...

背景 最近在用filesystem connector來(lái)寫(xiě)hdfs础芍，底層是通過(guò)StreamFileSink實(shí)現(xiàn)的。在看官方文檔[https://...

代碼在flink-table-runtime-blink模塊,用戶(hù)指南參考官網(wǎng)[https://ci.apache.org/projects/f...

前言 Flink jdbc connect已經(jīng)為依賴(lài)于jdbc進(jìn)行操作的數(shù)據(jù)庫(kù)系統(tǒng)提供了非常完善的功能数尿。對(duì)于擴(kuò)展只需要擴(kuò)展其Dialect即可仑性。...

背景 目前flink sql是不支持source/sink并行度配置的，flink sql中各算子并行度默認(rèn)是根據(jù)source的partitio...