Check Point
sparkContext.setCheckpointDir()
- spark的checkpoint目錄在集群模式下药有，必須是 hdfs path。因?yàn)樵诩耗Ｊ较拢瑢?shí)際上 checkpointed RDD 是從executor machines 的 check point files 里面加載而來(lái)。
RDD CheckPoint
- 實(shí)際上是利用 hdfs 的冗余來(lái)實(shí)現(xiàn)高可用。
- 文件rdd-x保持的是 該rdd 的 信息蟹演。
- 如果 rdd1.checkpoint(), 那么 后面依賴 rdd1的 rdd2 在計(jì)算時(shí)加載 rdd1實(shí)際上是從 checkpoint產(chǎn)生的eliableCheckpointRDD而來(lái)，（而不是從 rdd0->rdd1重新計(jì)算）顷蟀。
- 如果 rdd1.persist()并且 checkpoint 了酒请，會(huì)優(yōu)先加載 cache 里面的，然后是 checkpoint 里面的鸣个。
Streaming CheckPoint
Streaming里面的 checkpoint 又有其特殊的重要性羞反。除存儲(chǔ)某個(gè) DStream 的數(shù)據(jù)外，還存儲(chǔ)了環(huán)境相關(guān)信息囤萤。數(shù)據(jù)的 checkpoint 的目的同上昼窗，為了切斷過(guò)長(zhǎng)的依賴，使后面的操作的依賴更可口涛舍。而 metadata 的 checkpoint 是為了更好的恢復(fù) driver澄惊。
Spark Streaming 會(huì) checkpoint 兩種類型的數(shù)據(jù)。
- Metadata（元數(shù)據(jù)） checkpointing - 保存定義了 Streaming 計(jì)算邏輯至類似 HDFS 的支持容錯(cuò)的存儲(chǔ)系統(tǒng)。用來(lái)恢復(fù) driver缤削，元數(shù)據(jù)包括：
配置 - 用于創(chuàng)建該 streaming application 的所有配置
DStream 操作 - DStream 一些列的操作
未完成的 batches - 那些提交了 job 但尚未執(zhí)行或未完成的 batches - Data checkpointing - 保存已生成的RDDs至可靠的存儲(chǔ)窘哈。這在某些 stateful 轉(zhuǎn)換中是需要的，在這種轉(zhuǎn)換中亭敢，生成 RDD 需要依賴前面的 batches，會(huì)導(dǎo)致依賴鏈隨著時(shí)間而變長(zhǎng)图筹。為了避免這種沒(méi)有盡頭的變長(zhǎng)帅刀，要定期將中間生成的 RDDs 保存到可靠存儲(chǔ)來(lái)切斷依賴鏈
什么時(shí)候需要啟用 checkpoint？
有重要的過(guò)長(zhǎng)的計(jì)算依賴
用了一些全局的變量远剩，比如stateful扣溺，broadcast 等
希望從application從 driver 中恢復(fù)，注意需要重寫(xiě) functionToCreateContext
http://www.reibang.com/p/00b591c5f623隨著 streaming application 的持續(xù)運(yùn)行瓜晤，checkpoint 數(shù)據(jù)占用的存儲(chǔ)空間會(huì)不斷變大锥余。因此，需要小心設(shè)置checkpoint 的時(shí)間間隔痢掠。設(shè)置得越小驱犹，checkpoint 次數(shù)會(huì)越多，占用空間會(huì)越大足画；如果設(shè)置越大雄驹，會(huì)導(dǎo)致恢復(fù)時(shí)丟失的數(shù)據(jù)和進(jìn)度越多。一般推薦設(shè)置為 batch duration 的5~10倍
注意：類 Checkpoint 對(duì)象序列化后的數(shù)據(jù)淹辞，在 Spark Streaming application 重新編譯后医舆，再去反序列化 checkpoint 數(shù)據(jù)就會(huì)失敗。這個(gè)時(shí)候就必須新建 StreamingContext象缀。解決方案：對(duì)于重要的數(shù)據(jù)蔬将，自行維護(hù)，比如 kafka 的offset央星。
TODO check: offset checkpoint metadata or hdfs 存 or
zookeeper存 比較霞怀。
zero data loss 保證
Write Ahead Log+ reliable receivers（收到數(shù)據(jù)并且 replicate 之后向 source 確認(rèn)）
多大程度上保證 zero data loss，跟源本身的實(shí)現(xiàn)機(jī)制等曼，receiver 的實(shí)現(xiàn)也有關(guān)系
在 deploy 上 checkpoint 也有一些依賴
具體參考：
http://spark.apache.org/docs/latest/streaming-programming-guide.html#deploying-applications
Persistent vs CheckPoint
Spark 在生產(chǎn)環(huán)境下經(jīng)常會(huì)面臨transformation的RDD非常多（例如一個(gè)Job中包含1萬(wàn)個(gè)RDD）或者具體transformation的RDD本身計(jì)算特別復(fù)雜或者耗時(shí)（例如計(jì)算時(shí)長(zhǎng)超過(guò)1個(gè)小時(shí)）里烦，這個(gè)時(shí)候就要考慮對(duì)計(jì)算結(jié)果數(shù)據(jù)的持久化。如果采用persist把數(shù)據(jù)放在內(nèi)存中禁谦，雖然是快速的胁黑，但是也是最不可靠的；如果把數(shù)據(jù)放在磁盤(pán)上州泊，也不是完全可靠的丧蘸！例如磁盤(pán)會(huì)損壞，系統(tǒng)管理員可能清空磁盤(pán)。持久化的方向可以是 persistent 或者 checkpoint力喷。 當(dāng)兩者目的又有所不同刽漂。
cache/persistent 可以說(shuō)一方面是為了提速，另一方面是為了當(dāng)某一重要步驟過(guò)長(zhǎng)弟孟，后面的依賴出錯(cuò)（可能是邏輯錯(cuò)誤）情況下贝咙，可以無(wú)需從頭算起。
checkpoint：則更多的是為了高可用拂募。其核心另的還是 hdfs 的 replicaton.其情形是集群總某個(gè)點(diǎn)的硬件設(shè)備壞掉庭猩，例如 persistent 中某個(gè)盤(pán)壞了，整個(gè)應(yīng)用仍然是可用的陈症。Checkpoint的產(chǎn)生就是為了相對(duì)而言更加可靠的持久化數(shù)據(jù)蔼水，在Checkpoint的時(shí)候可以指定把數(shù)據(jù)放在本地，并且是多副本的方式录肯，但是在生產(chǎn)環(huán)境下是放在HDFS上趴腋，這就天然的借助了HDFS高容錯(cuò)、高可靠的特征來(lái)完成了最大化的可靠的持久化數(shù)據(jù)的方式论咏；
Checkpoint是為了最大程度保證絕對(duì)可靠的復(fù)用RDD計(jì)算數(shù)據(jù)的Spark高級(jí)功能优炬，通過(guò)checkpoint我們通常把數(shù)據(jù)持久化到HDFS來(lái)保證數(shù)據(jù)最大程度的安全性；
Checkpoint就是針對(duì)整個(gè)RDD計(jì)算鏈條中特別需要數(shù)據(jù)持久化的環(huán)節(jié)（后面會(huì)反復(fù)使用當(dāng)前環(huán)節(jié)的RDD）開(kāi)始基于HDFS等的數(shù)據(jù)持久化復(fù)用策略潘靖，通過(guò)對(duì)RDD啟動(dòng)checkpoint機(jī)制來(lái)實(shí)現(xiàn)容錯(cuò)和高可用穿剖；
加入進(jìn)行一個(gè)1萬(wàn)個(gè)步驟，在9000個(gè)步驟的時(shí)候persist卦溢，數(shù)據(jù)還是有可能丟失的糊余，但是如果checkpoint，數(shù)據(jù)丟失的概率幾乎為0单寂。
理解spark streaming 情形下的數(shù)據(jù)丟失贬芥，對(duì) checkpoint 非常重要
http://spark.apache.org/docs/latest/streaming-programming-guide.html#fault-tolerance-semantics
