最新在線上更新了代碼之后導致了任務在消費kafka數(shù)據(jù)的時候,突然就不消費數(shù)據(jù)了,發(fā)現(xiàn)原因在公司的可視化界面中,看不到數(shù)據(jù)的更新,進入flink監(jiān)控頁面中看到任務沒有fail...
發(fā)簡信
IP屬地：上海
-
記錄Flink1.9線上checkpoint失敗的問題 -
關閉Chrome左右滑動時返回上一個網(wǎng)頁
我用Mac電腦上用Chrome時蓄愁，有一點非常不便讓我常常無語曹铃。也不知道哪個工程師開發(fā)的功能，這么扯臭埋，每次用觸摸板滑動瀏覽網(wǎng)頁的時候，它會自動抓取你左滑動或者右滑動顾画，變?yōu)榉祷厣?..
-
Kafka源碼分析（七）消息發(fā)送可靠性——min.insync.replicas
繼續(xù)解答問題：Kafka怎么樣才能不丟消息齐媒？ 再次說明下acks的語義如果acks=all，代表消息需要在所有ISR都被持久化成功后往湿，Broker才可以告訴生產(chǎn)者妖异，消息已經(jīng)發(fā)...
-
FlinkSQL的痛點
現(xiàn)在FlinkSQL可以source創(chuàng)建一張表,也可以sink也創(chuàng)建一張表 然后直接aggTable1.insertInto("out"); 但是如果要是比如out這個表是k...
-
Scala解析JSON
package com.mlamp.test_json /** * @Author: DaChun777 * @Date: 2021/12/8 上午10:35 * @Desc...
-
MAC上Git安裝與GitHub基本使用目錄 安裝git創(chuàng)建ssh key惋戏、配置git提交本地項目到GitHub 一、安裝Git MAC 上安裝Git主要有兩種方式 首先查看電腦是否安裝Git他膳，終端輸入： 安裝過則...
-
Mac idea 2020.1 版本的安裝與破解一响逢、 idea 的下載 官網(wǎng)下載地址：https://www.jetbrains.com/下載.png 百度云提供 2020.1 的版本： 鏈接: https://pan.b...
-
這個讀請求會不會造成讀不到最新的數(shù)據(jù),因為寫是滿足過半性寫就算寫入完成
Zookeeper的選舉和讀寫流程
Zookeeper選舉過程 服務器啟動或者服務器運行期間（Leader掛了），都會進入Leader選舉棕孙，我們來看一下~假設現(xiàn)在ZooKeeper集群有五臺服務器舔亭，它們myid...
-
其實這個十分之1的說法并不對,你自己測試就知道了.啊哈哈哈
Spark 配置Kryo序列化機制
一、Spark 的序列化 序列化Spark 是一個高性能蟀俊、分布式的钦铺、基于內(nèi)存計算的計算引擎，Spark 集群中包含多個節(jié)點肢预，各節(jié)點之間要進行通信（比如數(shù)據(jù)傳輸矛洞，Spark 通...
-
Spark讀取Hive數(shù)據(jù)
依賴如下: <dependencies> <!-- mysql --> <dependency> <groupId>mysql</groupId> ...
-
不會,也是根據(jù)關聯(lián)字段Join的,這個intervalJoin生產(chǎn)沒人用,太雞肋了.
談談Flink DataStream API中的三種雙流join操作
前言 本文是基礎中的基礎，看官可以放心食用烫映。 在數(shù)據(jù)庫中的靜態(tài)表上做OLAP分析時沼本，兩表join是非常常見的操作。同理窑邦，在流式處理作業(yè)中擅威，有時也需要在兩條流上做join以獲得...
-
Maven明明導入了依賴但是運行報錯
我在運行flink程序時候,就是一個table程序,在編譯時候以及寫代碼都不報錯,然后運行就報錯少依賴, 臥槽,而且這個依賴這個類我都能夠找到,點進去能看到源碼,死活報錯找不...
-
MySQL獲取毫秒值
select time_to_sec(now()), now(), current_timestamp(), replace(unix_timestamp(now(3)),'...
-
你找到了嗎?哥,能發(fā)我一個嗎
二瞧筛、Azkaban單機與集群的安裝
一厉熟、概述 在上一篇文章中，描述了如果使用源碼對Azkaban進行編譯并打包的過程较幌，如果用戶不想自己手動編譯揍瑟，可以直接下載筆者已經(jīng)編譯好的安裝包，下載地址如下： 百度云鏈接：h...