Kafka源碼分析(八)消息發(fā)送可靠性——flush.messages

繼續(xù)解答問題:
Kafka怎么樣才能不丟消息?

考慮一種比較極端的情況彪置,整個Kafka集群用的是同一路電源拄踪,在掉電的情況下蝇恶,消息是有可能丟失的拳魁,即便消息已經(jīng)被復(fù)制所有的ISR上。默認(rèn)情況下撮弧,Kafka的刷盤是異步刷盤潘懊,也就是說姚糊,把消息寫進(jìn)OS的Page Cache后,已經(jīng)別當(dāng)成持久化成功了授舟,但是此時的消息沒有被sync到磁盤救恨,如果所有ISR的消息都在Page Cache上而不在磁盤中,整體掉電重啟后释树,消息就再也無法被消費(fèi)者消費(fèi)到肠槽,那么消息也就丟失。

private def append(records: MemoryRecords, isFromClient: Boolean, assignOffsets: Boolean, leaderEpoch: Int): LogAppendInfo = {
    maybeHandleIOException(s"Error while appending records to $topicPartition in dir ${dir.getParent}") {
        // code

        segment.append(largestOffset = appendInfo.lastOffset,
            largestTimestamp = appendInfo.maxTimestamp,
            shallowOffsetOfMaxTimestamp = appendInfo.offsetOfMaxTimestamp,
            records = validRecords)

        // code

        // unflushedMessages方法定義
        // def unflushedMessages: Long = this.logEndOffset - this.recoveryPoint
        // 當(dāng)沒有刷盤的消息累積到flushInterval時奢啥,做一次flush
        if (unflushedMessages >= config.flushInterval)
            flush()

        // code
    }
}

那萬一最近沒有新的消息秸仙,但是累積的消息的量又達(dá)不到,就需要依靠下面這個定時任務(wù)來做時間維度的定期flush

scheduler.schedule("kafka-log-flusher",
                flushDirtyLogs _,
                delay = InitialTaskDelayMs,
                period = flushCheckMs,
                TimeUnit.MILLISECONDS)

如果將flush.messages設(shè)置為1桩盲,那么每一條消息都會刷盤寂纪,配合前面整理的acks、min.insync.replicas赌结,會使消息可靠性得到大幅度得提升捞蛋,但是flush.messages=1會嚴(yán)重影響性能,可以在部分可靠性要求高的Topic級別進(jìn)行配置柬姚。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末拟杉,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子量承,更是在濱河造成了極大的恐慌捣域,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件宴合,死亡現(xiàn)場離奇詭異焕梅,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)卦洽,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進(jìn)店門贞言,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人阀蒂,你說我怎么就攤上這事该窗。” “怎么了蚤霞?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵酗失,是天一觀的道長。 經(jīng)常有香客問我昧绣,道長规肴,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮拖刃,結(jié)果婚禮上删壮,老公的妹妹穿的比我還像新娘。我一直安慰自己兑牡,他們只是感情好央碟,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著均函,像睡著了一般亿虽。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上苞也,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天经柴,我揣著相機(jī)與錄音,去河邊找鬼墩朦。 笑死坯认,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的氓涣。 我是一名探鬼主播牛哺,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼劳吠!你這毒婦竟也來了引润?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤痒玩,失蹤者是張志新(化名)和其女友劉穎淳附,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蠢古,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡奴曙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了草讶。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片洽糟。...
    茶點(diǎn)故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖堕战,靈堂內(nèi)的尸體忽然破棺而出坤溃,到底是詐尸還是另有隱情,我是刑警寧澤嘱丢,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布薪介,位于F島的核電站,受9級特大地震影響越驻,放射性物質(zhì)發(fā)生泄漏汁政。R本人自食惡果不足惜道偷,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望烂完。 院中可真熱鬧,春花似錦诵棵、人聲如沸抠蚣。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽嘶窄。三九已至,卻和暖如春距贷,著一層夾襖步出監(jiān)牢的瞬間柄冲,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工忠蝗, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留现横,地道東北人。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓阁最,卻偏偏與公主長得像戒祠,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子速种,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容