我又試了下磁携，修改非上面的內(nèi)容轧简，比如增加對stream的操作，也不會影響checkpoint的反序列化嗡载。
【容錯篇】Spark Streaming的還原藥水——Checkpoint一個 Streaming Application 往往需要7*24不間斷的跑窑多，所以需要有抵御意外的能力（比如機器或者系統(tǒng)掛掉，JVM crash等）洼滚。為了讓這成為可能埂息，Spa...
發(fā)簡信
IP屬地：云南
-
-
您好，我在閱讀Checkpoint的代碼時，發(fā)現(xiàn)耿芹，StreamingContext會反序列化checkpoint的保存內(nèi)容崭篡。但是反序列化的對象是Checkpoint：
class Checkpoint(ssc: StreamingContext, val checkpointTime: Time)
extends Logging with Serializable {
val master = ssc.sc.master
val framework = ssc.sc.appName
val jars = ssc.sc.jars
val graph = ssc.graph
val checkpointDir = ssc.checkpointDir
val checkpointDuration = ssc.checkpointDuration
val pendingTimes = ssc.scheduler.getPendingTimes().toArray
val delaySeconds = MetadataCleaner.getDelaySeconds(ssc.conf)
val sparkConfPairs = ssc.conf.getAll
如果這些東西不改變，是不是即便重新編譯包吧秕，檢查點一樣是可用的琉闪？【容錯篇】Spark Streaming的還原藥水——Checkpoint
一個 Streaming Application 往往需要7*24不間斷的跑，所以需要有抵御意外的能力（比如機器或者系統(tǒng)掛掉砸彬，JVM crash等）颠毙。為了讓這成為可能，Spa...