flink學(xué)習(xí) - 專題

投稿

收錄了15篇文章 · 5人關(guān)注

Flink的日志配置
介紹flink在本地運行和on yarn運行時的日志配置捌显。很多現(xiàn)代框架都是用門面模式進行日志輸出吠式，例如使用Slf4j中的接口輸出日志陡厘，具體實現(xiàn)...

碼農(nóng)峰 0 0
java.io.FileNotFoundException: File does not exist: hdfs://xxx
一、產(chǎn)生問題背景我們公司正在準備從cdh遷回社區(qū)版hadoop集群特占，啟動flink任務(wù)的時候糙置，還未運行就直接報錯：二、定位問題及解決通過去...

FishMAN__ 0 0

Hadoop和hive-exec-3.1.2的Guava的版本沖突導(dǎo)致Flink任務(wù)啟動異常
一摩钙、背景 1罢低、出現(xiàn)異常公司準備從CDH遷回社區(qū)版Hadoop集群，直接把Hadoop升級為比較新的3.30版本胖笛，Hive升級為3.12版本网持。F...

0.2 FishMAN__ 0 3
Flink Sql on Hive 的生產(chǎn)遇到的坑以及優(yōu)化（持續(xù)更新 ...）
1、HiveSource-xxxx.xxxx's parallelism (200) is higher than the max parall...

0.2 FishMAN__ 0 2
Flink編譯（包括最新Flink1.12編譯）
一长踊、源碼下載 1功舀、github地址（選擇對應(yīng)的release版本） https://github.com/apache/flink/tree/r...

0.3 FishMAN__ 0 3
Flink不同版本間的編譯區(qū)別
一、1.11.0版本及以前以前的方式是先編譯flink-shaded-hadoop這個包身弊，將hadoop和hive指定你對應(yīng)生產(chǎn)的版本編譯出f...

0.4 FishMAN__ 0 3
Flink部署模式的調(diào)研（看完你就知道你公司適合哪種）
一辟汰、調(diào)研的三種模式： 1、Flink On Yarn （1）PerJob模式一個任務(wù)一個集群（2）Session模式多個任務(wù)一個Sessi...

FishMAN__ 0 0

Flink CDC 原理及生產(chǎn)實踐
MySQL CDC連接器允許從MySQL數(shù)據(jù)庫讀取快照數(shù)據(jù)和增量數(shù)據(jù)阱佛。本文檔根據(jù)ververica官網(wǎng)翻譯了如何設(shè)置MySQL CDC連接器以對...

0.1 FishMAN__ 4 1
Flink HistoryServer配置（簡單三步完成）
HistoryServer 允許您查詢JobManager存檔的已完成作業(yè)的狀態(tài)和統(tǒng)計信息帖汞。(官網(wǎng)原話)最適合用于：了解 flink過去完成任務(wù)...

0.1 FishMAN__ 0 1 1
Flink日志配置（基于flink1.11.1）
滾動日志的配置 flink日志的配置主要是將配置放在flink/conf下面才起作用下面是我的滾動日志的配置，能夠?qū)崿F(xiàn)將過期的日志清掉凑术，只保存最...

FishMAN__ 2 1