Kafka的Coordinator與Rebalance

1趾痘、rebalance

在發(fā)生:
(1)一個新的消費者加入群組
(2)一個消費者被關閉或者崩潰離開group
(3)topic的partition數增加
會發(fā)生觸發(fā)rebalance,分區(qū)的消費所有權會從一個消費者轉移到另一個消費者上偎肃。

2科吭、Group Coordinator

1昏滴、Group Coordinator本質上是broker,一個group對應一個Group Coordinator,就是對應_consumer__offset所在的partition的leader所在的broker对人。(_consumer__offset = Math.abs((GROUPID.hash() % 50)))
2谣殊、consumer通過發(fā)送心跳到Group Coordinator上維持和group的從屬關系以及對分區(qū)消費的所有權。

3牺弄、Group leader

1姻几、第一個加入group的consumer是這個Group的Group leader,所有Group leader的本質是一個consumer。
2蛇捌、當發(fā)生rebalance時抚恒,Group leader能從Group Coordinator拿到最新活躍的consumer列表,并從consumer上報的分配策略中依據多數原則選擇分配策略(共有兩種分配策略RoundRobinAssignor與RangeAssignor)络拌,決定partition與consumer的歸屬關系柑爸。決定以后把這份分配信息發(fā)回給Group Coordinator,再由Group Coordinator發(fā)回給所有的consumer盒音。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市馅而,隨后出現的幾起案子祥诽,更是在濱河造成了極大的恐慌,老刑警劉巖瓮恭,帶你破解...
    沈念sama閱讀 211,348評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件雄坪,死亡現場離奇詭異,居然都是意外死亡屯蹦,警方通過查閱死者的電腦和手機维哈,發(fā)現死者居然都...
    沈念sama閱讀 90,122評論 2 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來登澜,“玉大人阔挠,你說我怎么就攤上這事∧匀洌” “怎么了购撼?”我有些...
    開封第一講書人閱讀 156,936評論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長谴仙。 經常有香客問我迂求,道長,這世上最難降的妖魔是什么晃跺? 我笑而不...
    開封第一講書人閱讀 56,427評論 1 283
  • 正文 為了忘掉前任揩局,我火速辦了婚禮,結果婚禮上掀虎,老公的妹妹穿的比我還像新娘凌盯。我一直安慰自己,他們只是感情好涩盾,可當我...
    茶點故事閱讀 65,467評論 6 385
  • 文/花漫 我一把揭開白布十气。 她就那樣靜靜地躺著,像睡著了一般春霍。 火紅的嫁衣襯著肌膚如雪砸西。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,785評論 1 290
  • 那天,我揣著相機與錄音芹枷,去河邊找鬼衅疙。 笑死,一個胖子當著我的面吹牛鸳慈,可吹牛的內容都是我干的饱溢。 我是一名探鬼主播,決...
    沈念sama閱讀 38,931評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼走芋,長吁一口氣:“原來是場噩夢啊……” “哼绩郎!你這毒婦竟也來了?” 一聲冷哼從身側響起翁逞,我...
    開封第一講書人閱讀 37,696評論 0 266
  • 序言:老撾萬榮一對情侶失蹤肋杖,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后挖函,有當地人在樹林里發(fā)現了一具尸體状植,經...
    沈念sama閱讀 44,141評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,483評論 2 327
  • 正文 我和宋清朗相戀三年怨喘,在試婚紗的時候發(fā)現自己被綠了津畸。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,625評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡必怜,死狀恐怖肉拓,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情梳庆,我是刑警寧澤帝簇,帶...
    沈念sama閱讀 34,291評論 4 329
  • 正文 年R本政府宣布,位于F島的核電站靠益,受9級特大地震影響丧肴,放射性物質發(fā)生泄漏。R本人自食惡果不足惜胧后,卻給世界環(huán)境...
    茶點故事閱讀 39,892評論 3 312
  • 文/蒙蒙 一芋浮、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧壳快,春花似錦纸巷、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至竖伯,卻和暖如春存哲,著一層夾襖步出監(jiān)牢的瞬間因宇,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工祟偷, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留察滑,地道東北人。 一個月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓修肠,卻偏偏與公主長得像贺辰,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子嵌施,可洞房花燭夜當晚...
    茶點故事閱讀 43,492評論 2 348

推薦閱讀更多精彩內容

  • 首先定義什么是書評(官方答案):書評饲化,即評論或介紹書籍的文章,是以“書”為對象吗伤,實事求是的滓侍、有見識的分析書籍的形式...
    牛牛牛牛牛魔王閱讀 638評論 0 24
  • 孤獨慢慢成為一種常態(tài),但我已經能夠欣然接受這般陪伴我的時光牲芋。 忙碌而無聊的聚集能帶給我什么呢?沒有內容的笑聲終究過...
    hanlian0917閱讀 190評論 0 0
  • 在微博看到這個話題 :月薪3500元買包花1.8萬捺球。 對于這個情況缸浦,我覺得是不會發(fā)生在我身上的。我是一個95后氮兵,但...
    大羊小姐姐閱讀 82評論 0 1
  • 周四裂逐,若溪下午放學后直接去上中教課∑唬回來時都七點多了卜高。匆忙吃了晚飯,洗澡洗頭南片,然后就開始寫作業(yè)掺涛。 最近...
    宛若小溪閱讀 212評論 0 0