Flink學習筆記之九狀態(tài)和容錯

一.理解狀態(tài)

1.什么是狀態(tài)

其實是某一個時刻熊镣,計算的結(jié)果据块,一般是operator/task,保存在內(nèi)存兽肤,由于Flink分布式的運行套腹,所以根據(jù)體系結(jié)構(gòu)runtime,會設計到TaskManager的slot對應具體任務资铡,實質(zhì)是JVM的運行的一塊內(nèi)存电禀。

容錯就涉及到機器故障和重啟,某一時刻單臺機器掛掉害驹,運行任務的狀態(tài)也會掛掉鞭呕。掛掉的話,就涉及一個后端存儲宛官,重新跑起來的時候葫松,從后端存儲拉起來惠猿。

2.狀態(tài)的作用

3.沒有狀態(tài)的日子

4.Flink豐富的狀態(tài)訪問和高效的容錯機制

5.Operator State

6.Keyed State

7.Keyed State類型

8.兩種狀態(tài)

二.Operator State及重分布redistribute

1.Operator State Redistribute

2.方式1:實現(xiàn)CheckPointedFunction

3.方式2:ListCheckpointed

三.Keyed State和重分布 redistribute

1.Keyed State Redistribute

慰安,本地緩存狀態(tài),
numOfKeyGroups 最大并行度


2.Keyed State TTL腾么,量比較大亥揖,所以需要TTL

3.Keyed State TTL 相關配置

4.清理策略

5.注意事項

四.Broadcast State

1.類似于Mapreduce的廣播珊擂,map join,小表廣播

2.使用

3.BroadcastProcessFunction

4.KeyedBroadcastProcessFunction

5.注意事項费变,不能通信是Broadcast只讀

五.使用Checkpoint

1.狀態(tài)容錯示意圖



2.Checkpointing是什么

3.Checkpointing的前提

4.第一步:啟用checkpoint

5.checkpointMode

6.保留策略

摧扇,一種是因為某種原因,突然掛了挚歧,會保留扛稽。
默認認為手工cancel,就是作業(yè)不要了滑负,所以不保留在张。


7.高級選項

8.第二步:選擇合適的State Backend

9.MemoryStateBackend

10.FsStateBackend

11.RocksDBStateBackend

12.StateBackend總結(jié),in-flight 代表狀態(tài)

13.配置StateBackend

14.checkpoint的相關配置

15.使用RocksDBStateBackend

16.第三步:配置重啟策略

六.Checkpoint原理

1.Barrier

矮慕,必須要事務操作帮匾,Barrier之間的就是checkpoint,事務


2.Barrier多并行度對齊

3.exactly Once & At least Once

七.Savepoint

1.savepoint概念

savepoint類比數(shù)據(jù)庫的備份痴鳄,checkpoint是類比數(shù)據(jù)庫的recovery log


2.assign operator id

也可以指定name瘟斜,可以在UI上面方便查看


3.觸發(fā)savepoint

targetDirectory配置文件目錄,jobId獲取,flink list可以查看哼转,UI可以查看

4.從savepoint恢復job

5.刪除savepoint

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末明未,一起剝皮案震驚了整個濱河市槽华,隨后出現(xiàn)的幾起案子壹蔓,更是在濱河造成了極大的恐慌,老刑警劉巖猫态,帶你破解...
    沈念sama閱讀 216,470評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件佣蓉,死亡現(xiàn)場離奇詭異,居然都是意外死亡亲雪,警方通過查閱死者的電腦和手機勇凭,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來义辕,“玉大人虾标,你說我怎么就攤上這事」嘧” “怎么了璧函?”我有些...
    開封第一講書人閱讀 162,577評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長基显。 經(jīng)常有香客問我蘸吓,道長,這世上最難降的妖魔是什么撩幽? 我笑而不...
    開封第一講書人閱讀 58,176評論 1 292
  • 正文 為了忘掉前任库继,我火速辦了婚禮,結(jié)果婚禮上窜醉,老公的妹妹穿的比我還像新娘宪萄。我一直安慰自己,他們只是感情好榨惰,可當我...
    茶點故事閱讀 67,189評論 6 388
  • 文/花漫 我一把揭開白布拜英。 她就那樣靜靜地躺著,像睡著了一般读串。 火紅的嫁衣襯著肌膚如雪聊记。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,155評論 1 299
  • 那天恢暖,我揣著相機與錄音排监,去河邊找鬼。 笑死杰捂,一個胖子當著我的面吹牛舆床,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 40,041評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼挨队,長吁一口氣:“原來是場噩夢啊……” “哼谷暮!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起盛垦,我...
    開封第一講書人閱讀 38,903評論 0 274
  • 序言:老撾萬榮一對情侶失蹤湿弦,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后腾夯,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體颊埃,經(jīng)...
    沈念sama閱讀 45,319評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,539評論 2 332
  • 正文 我和宋清朗相戀三年蝶俱,在試婚紗的時候發(fā)現(xiàn)自己被綠了班利。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,703評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡榨呆,死狀恐怖罗标,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情积蜻,我是刑警寧澤闯割,帶...
    沈念sama閱讀 35,417評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站浅侨,受9級特大地震影響纽谒,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜如输,卻給世界環(huán)境...
    茶點故事閱讀 41,013評論 3 325
  • 文/蒙蒙 一鼓黔、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧不见,春花似錦澳化、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,664評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至灶似,卻和暖如春列林,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背酪惭。 一陣腳步聲響...
    開封第一講書人閱讀 32,818評論 1 269
  • 我被黑心中介騙來泰國打工希痴, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人春感。 一個月前我還...
    沈念sama閱讀 47,711評論 2 368
  • 正文 我出身青樓砌创,卻偏偏與公主長得像虏缸,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子嫩实,可洞房花燭夜當晚...
    茶點故事閱讀 44,601評論 2 353

推薦閱讀更多精彩內(nèi)容

  • 背景知識 低延遲 vs 高吞吐 流處理系統(tǒng)與批處理系統(tǒng)最大不同在于節(jié)點間的數(shù)據(jù)傳輸方式刽辙。 對于一個流處理系統(tǒng),當一...
    云藤閱讀 2,304評論 0 9
  • Savepoint Savepoint 和 Checkpoint 的區(qū)別 Savepoint 是命令觸發(fā)的 Che...
    Alex90閱讀 2,542評論 0 0
  • apache Flink是一個面向分布式數(shù)據(jù)流處理和批量數(shù)據(jù)處理的開源計算平臺甲献,它能夠基于同一個Flink運行時(...
    生活的探路者閱讀 1,475評論 3 8
  • 什么是State(狀態(tài))宰缤? 某task/operator在某時刻的一個中間結(jié)果 快照(shapshot) 在fli...
    澤林唄閱讀 2,905評論 0 1
  • Flink 提供了容錯機制,可以恢復數(shù)據(jù)流應用到一致狀態(tài)竟纳。該機制確保在發(fā)生故障時撵溃,程序的狀態(tài)最終將只反映數(shù)據(jù)流中的...
    Alex90閱讀 5,745評論 1 2