Flink檢查點(diǎn)(checkpoint)辟狈、保存點(diǎn)(savepoint)的區(qū)別與聯(lián)系

今天聽(tīng)同事做關(guān)于Docker的技術(shù)分享,結(jié)束時(shí)已經(jīng)有點(diǎn)晚了,沒(méi)法仔細(xì)選題哼转,所以就寫(xiě)一個(gè)所有人都知道的小知識(shí)點(diǎn)吧明未。

checkpoint(檢查點(diǎn))和savepoint(保存點(diǎn))是Flink為我們提供的兩種作業(yè)快照機(jī)制,它們都包含有作業(yè)狀態(tài)的持久化副本壹蔓。官方文檔這樣描述checkpoint:

Checkpoints make state in Flink fault tolerant by allowing state and the corresponding stream positions to be recovered, thereby giving the application the same semantics as a failure-free execution.

而對(duì)savepoint的描述是:

A Savepoint is a consistent image of the execution state of a streaming job, created via Flink’s checkpointing mechanism. You can use Savepoints to stop-and-resume, fork, or update your Flink jobs.

下面這張來(lái)自Flink 1.1版本文檔的圖(更新的版本這張圖就不見(jiàn)了)示出了checkpoint和savepoint的關(guān)系趟妥。

下面用幾句話(huà)總結(jié)一下。

  1. checkpoint的側(cè)重點(diǎn)是“容錯(cuò)”佣蓉,即Flink作業(yè)意外失敗并重啟之后披摄,能夠直接從早先打下的checkpoint恢復(fù)運(yùn)行,且不影響作業(yè)邏輯的準(zhǔn)確性勇凭。而savepoint的側(cè)重點(diǎn)是“維護(hù)”疚膊,即Flink作業(yè)需要在人工干預(yù)下手動(dòng)重啟、升級(jí)虾标、遷移或A/B測(cè)試時(shí)寓盗,先將狀態(tài)整體寫(xiě)入可靠存儲(chǔ),維護(hù)完畢之后再?gòu)膕avepoint恢復(fù)現(xiàn)場(chǎng)璧函。

  2. savepoint是“通過(guò)checkpoint機(jī)制”創(chuàng)建的傀蚌,所以savepoint本質(zhì)上是特殊的checkpoint。

  3. checkpoint面向Flink Runtime本身蘸吓,由Flink的各個(gè)TaskManager定時(shí)觸發(fā)快照并自動(dòng)清理善炫,一般不需要用戶(hù)干預(yù);savepoint面向用戶(hù)美澳,完全根據(jù)用戶(hù)的需要觸發(fā)與清理销部。

  4. checkpoint的頻率往往比較高(因?yàn)樾枰M可能保證作業(yè)恢復(fù)的準(zhǔn)確度),所以checkpoint的存儲(chǔ)格式非常輕量級(jí)制跟,但作為trade-off犧牲了一切可移植(portable)的東西舅桩,比如不保證改變并行度和升級(jí)的兼容性。savepoint則以二進(jìn)制形式存儲(chǔ)所有狀態(tài)數(shù)據(jù)和元數(shù)據(jù)雨膨,執(zhí)行起來(lái)比較慢而且“貴”擂涛,但是能夠保證portability,如并行度改變或代碼升級(jí)之后聊记,仍然能正橙雎瑁恢復(fù)。

  5. checkpoint是支持增量的(通過(guò)RocksDB狀態(tài)后端)排监,特別是對(duì)于超大狀態(tài)的作業(yè)而言可以降低寫(xiě)入成本狰右。savepoint并不會(huì)連續(xù)自動(dòng)觸發(fā),所以savepoint沒(méi)有必要支持增量舆床。

民那晚安晚安棋蚌。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末嫁佳,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子谷暮,更是在濱河造成了極大的恐慌蒿往,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,378評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件湿弦,死亡現(xiàn)場(chǎng)離奇詭異瓤漏,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)颊埃,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,356評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén)蔬充,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人竟秫,你說(shuō)我怎么就攤上這事娃惯。” “怎么了肥败?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,702評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵趾浅,是天一觀(guān)的道長(zhǎng)。 經(jīng)常有香客問(wèn)我馒稍,道長(zhǎng)皿哨,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,259評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上芙代,老公的妹妹穿的比我還像新娘。我一直安慰自己央勒,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,263評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布澳化。 她就那樣靜靜地躺著崔步,像睡著了一般。 火紅的嫁衣襯著肌膚如雪缎谷。 梳的紋絲不亂的頭發(fā)上井濒,一...
    開(kāi)封第一講書(shū)人閱讀 49,036評(píng)論 1 285
  • 那天,我揣著相機(jī)與錄音列林,去河邊找鬼瑞你。 笑死,一個(gè)胖子當(dāng)著我的面吹牛希痴,可吹牛的內(nèi)容都是我干的者甲。 我是一名探鬼主播,決...
    沈念sama閱讀 38,349評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼砌创,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼过牙!你這毒婦竟也來(lái)了甥厦?” 一聲冷哼從身側(cè)響起纺铭,我...
    開(kāi)封第一講書(shū)人閱讀 36,979評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤寇钉,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后舶赔,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體扫倡,經(jīng)...
    沈念sama閱讀 43,469評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,938評(píng)論 2 323
  • 正文 我和宋清朗相戀三年竟纳,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了撵溃。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,059評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡锥累,死狀恐怖缘挑,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情桶略,我是刑警寧澤语淘,帶...
    沈念sama閱讀 33,703評(píng)論 4 323
  • 正文 年R本政府宣布,位于F島的核電站际歼,受9級(jí)特大地震影響惶翻,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜鹅心,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,257評(píng)論 3 307
  • 文/蒙蒙 一吕粗、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧旭愧,春花似錦颅筋、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,262評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至用押,卻和暖如春肢簿,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蜻拨。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,485評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工池充, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人缎讼。 一個(gè)月前我還...
    沈念sama閱讀 45,501評(píng)論 2 354
  • 正文 我出身青樓收夸,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親血崭。 傳聞我的和親對(duì)象是個(gè)殘疾皇子卧惜,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,792評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容