kafka 高水位和Leader Epoch

水位是一個(gè)單調(diào)增加且表征最早未完成工作(oldest work not yet completed)的時(shí)間戳枣抱。

藍(lán)色部分代表已完成的工作熔吗,紅色部分代表正在進(jìn)行的工作,分界線(xiàn)就是水位佳晶。

在kafka中桅狠,水位并不是時(shí)間戳,而是offset位移轿秧,水位有高水位HW和低水位LW

kafka中HW(High Watermark)有兩個(gè)作用

一是用來(lái)表示哪些消息可以被消費(fèi)者消費(fèi)中跌,相當(dāng)于分界線(xiàn)

二是幫助kafka完成副本的同步

位移值小于高水位的是已提交消息,可被消費(fèi)者消費(fèi)菇篡,大于等于高水位的消息漩符,屬于

未提交消息,不可被消費(fèi)者消費(fèi)

Log End Offset 日志末端位移驱还,LEO是表示副本寫(xiě)入下一條消息的位移嗜暴,介于高水位

和LEO之間的消息就是未提交消息,所以同一個(gè)副本中议蟆,高水位是不會(huì)超過(guò)LEO的

Kafka 使用 Leader 副本的高水位來(lái)定義所在分區(qū)的高水位闷沥。換句話(huà)說(shuō),分區(qū)的高水位就是其?

Leader 副本的高水位

HW更新機(jī)制

Broker 0 上保存了某分區(qū)的 Leader 副本和所有 Follower 副本的 LEO 值咐容,?Broker 1 上僅僅保

存了該分區(qū)的某個(gè) Follower 副本舆逃。Kafka 把 Broker 0 上保存的這些 Follower 副本又稱(chēng)為

遠(yuǎn)程副本(Remote Replica)。Kafka 副本機(jī)制在運(yùn)行過(guò)程中,會(huì)更新 Broker 1 上 Follower?

副本的高水位和 LEO 值路狮,同時(shí)也會(huì)更新 Broker 0 上 Leader 副本的高水位和 LEO 以及

所有遠(yuǎn)程副本的 LEO虫啥,但它不會(huì)更新遠(yuǎn)程副本的高水位值

當(dāng)生產(chǎn)者發(fā)送一條消息時(shí),對(duì)應(yīng)分區(qū)的leader副本將消息落盤(pán)后奄妨,LEO更新為1涂籽,這時(shí)follower

來(lái)同步消息,于是把自己的LEO也更新成了1展蒂,下一輪同步中,follower來(lái)拉去位移是1的消息苔咪,

leader接收消息后锰悼,把遠(yuǎn)程副本的LEO更新為1,然后更新HW為1团赏,在更新LEO或者更新

遠(yuǎn)程副本的LEO之后箕般,leader會(huì)取這兩個(gè)的最小值更新為HW,然后把自己的HW值發(fā)給

follower舔清,follower接到消息后把自己的HW更新為1.通過(guò)這種機(jī)制實(shí)現(xiàn)了Leader和Follower

副本之間的同步

Leader epoch

由于follower的HW的更新丝里,需要一輪額外的消息拉取,如果folloer很多的話(huà)体谒,就需要多輪拉取杯聚,

Leader 副本高水位更新和 Follower 副本高水位更新在時(shí)間上是存在錯(cuò)配的,會(huì)導(dǎo)致數(shù)據(jù)的

不一致抒痒,所以L(fǎng)eader epoch登場(chǎng)幌绍。

Epoch,一個(gè)單調(diào)增加的版本號(hào)故响。每當(dāng)leader發(fā)生變更時(shí)傀广,都會(huì)增加該版本號(hào)。小版本號(hào)的?

Leader 被認(rèn)為是過(guò)期 Leader彩届,不能再行使 Leader 權(quán)力伪冰。

起始位移,Leader 副本在該 Epoch 值上寫(xiě)入的首條消息的位移

類(lèi)似于zookeper的leader機(jī)制樟蠕,通過(guò)leader epoch的單調(diào)遞增贮聂,以此避免副本宕機(jī)重啟

導(dǎo)致的消息同步錯(cuò)亂

由于leader和follwer的hw的同步是存在時(shí)間差的,由于broker的宕機(jī)重啟后寨辩,日志的同步

是以高水位為準(zhǔn)的寂汇,會(huì)導(dǎo)致消息的丟失,通過(guò)epoch機(jī)制的引入捣染,副本是否執(zhí)行日志截?cái)?/p>

不再依賴(lài)于高水位進(jìn)行判斷

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末骄瓣,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌榕栏,老刑警劉巖畔勤,帶你破解...
    沈念sama閱讀 217,734評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異扒磁,居然都是意外死亡庆揪,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門(mén)妨托,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)缸榛,“玉大人,你說(shuō)我怎么就攤上這事兰伤∧诳牛” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,133評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵敦腔,是天一觀的道長(zhǎng)均澳。 經(jīng)常有香客問(wèn)我,道長(zhǎng)符衔,這世上最難降的妖魔是什么找前? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,532評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮判族,結(jié)果婚禮上躺盛,老公的妹妹穿的比我還像新娘。我一直安慰自己形帮,他們只是感情好颗品,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,585評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著沃缘,像睡著了一般躯枢。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上槐臀,一...
    開(kāi)封第一講書(shū)人閱讀 51,462評(píng)論 1 302
  • 那天锄蹂,我揣著相機(jī)與錄音,去河邊找鬼水慨。 笑死得糜,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的晰洒。 我是一名探鬼主播朝抖,決...
    沈念sama閱讀 40,262評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼谍珊!你這毒婦竟也來(lái)了治宣?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,153評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎侮邀,沒(méi)想到半個(gè)月后坏怪,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,587評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡绊茧,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,792評(píng)論 3 336
  • 正文 我和宋清朗相戀三年铝宵,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片华畏。...
    茶點(diǎn)故事閱讀 39,919評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡鹏秋,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出亡笑,到底是詐尸還是另有隱情侣夷,我是刑警寧澤,帶...
    沈念sama閱讀 35,635評(píng)論 5 345
  • 正文 年R本政府宣布况芒,位于F島的核電站惜纸,受9級(jí)特大地震影響叶撒,放射性物質(zhì)發(fā)生泄漏绝骚。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,237評(píng)論 3 329
  • 文/蒙蒙 一祠够、第九天 我趴在偏房一處隱蔽的房頂上張望压汪。 院中可真熱鬧,春花似錦古瓤、人聲如沸止剖。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,855評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)穿香。三九已至,卻和暖如春绎速,著一層夾襖步出監(jiān)牢的瞬間皮获,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,983評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工纹冤, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留洒宝,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,048評(píng)論 3 370
  • 正文 我出身青樓萌京,卻偏偏與公主長(zhǎng)得像雁歌,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子知残,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,864評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • 在 Kafka 中,高水位的作用主要有 2 個(gè)较坛。 定義消息可見(jiàn)性印蔗,即用來(lái)標(biāo)識(shí)分區(qū)下的哪些消息是可以被消費(fèi)者消費(fèi)的。...
    技術(shù)滅霸閱讀 2,094評(píng)論 0 0
  • Kafka高級(jí)特性解析(三) 物理存儲(chǔ) 日志存儲(chǔ)概述 Kafka 消息是以主題為單位進(jìn)行歸類(lèi)丑勤,各個(gè)主題之間是彼此獨(dú)...
    奮斗的蛐蛐閱讀 659評(píng)論 0 0
  • 本文主要內(nèi)容:①kafka復(fù)制機(jī)制②分區(qū)leader副本宕掉怎么選新的leader③高水位與leader epoc...
    小北覓閱讀 2,780評(píng)論 0 8
  • 基礎(chǔ)題目 1华嘹、Apache Kafka 是什么? Apach Kafka 是一款分布式流處理框架,用于實(shí)時(shí)構(gòu)建流處...
    技術(shù)滅霸閱讀 57,958評(píng)論 1 28
  • [TOC]Kafka 中采用了多副本的機(jī)制法竞,這是大多數(shù)分布式系統(tǒng)中慣用的手法耙厚,以此來(lái)實(shí)現(xiàn)水平擴(kuò) 展、提供容災(zāi)能力岔霸、...
    tracy_668閱讀 888評(píng)論 0 2