最新在線上更新了代碼之后導(dǎo)致了任務(wù)在消費(fèi)kafka數(shù)據(jù)的時候,突然就不消費(fèi)數(shù)據(jù)了,發(fā)現(xiàn)原因在公司的可視化界面中,看不到數(shù)據(jù)的更新,進(jìn)入flink監(jiān)控頁面中看到任務(wù)沒有fail...
發(fā)簡信
IP屬地：上海
-
記錄Flink1.9線上checkpoint失敗的問題 -
Clickhouse集群搭建
clickhouse官網(wǎng),也會有集群搭建的內(nèi)容[https://clickhouse.tech/docs/en/] 搭建前的準(zhǔn)備 配置好防火墻以及搭建好zookeeper,這...
-
Spark 連接kafka兩種方式及區(qū)別(direct和receiver)Kafka Direct 跟Receiver方式的區(qū)別 Receiver Receiver是使用Kafka的 High-Level Consumer API來實(shí)現(xiàn)的绍撞。Rece...
-
Flink-1.10 源碼筆記 兩階段提交Flink源碼分析 -- 兩階段提交 先簡單了解一下處理語義 關(guān)于消息的消費(fèi)、處理語義可以分為三類： ? 1. at most once : 至多一次于宙，表示一條消息不管后續(xù)...
-
Flink sql使用中報錯問題以及解決Flink sql 報錯問題以及解決 記錄在使用Flink sql時出現(xiàn)的問題以及解決方式 1.時間戳問題 消費(fèi)kafka數(shù)據(jù),轉(zhuǎn)換成一個DataStream后,通過tabl...
-
Hadoop - YARNYARN - 資源管理 Hadoop -MapReduceHadoop -HDFS 導(dǎo)讀一. Hadoop 1.x 介紹二. Hadoop 2.x 介紹 - 重點(diǎn)三. yar...
-
Hadoop - HDFSHDFS 分布式文件系統(tǒng) Hadoop -YARNHadoop -MapReduce 導(dǎo)讀1.HDFS是什么2.HDFS架構(gòu)及組件功能介紹3.讀寫流程 HDFS是什么 HD...