kafka Rebalance

發(fā)生的情況:
1.消費(fèi)組訂閱了新的主題
2.消費(fèi)組增加或減少了消費(fèi)者
3.消費(fèi)組訂閱的主題修改了分區(qū)數(shù)量

如何判斷有沒有發(fā)生Rebalance呢?

檢查消費(fèi)組對(duì)應(yīng)的broker日志,有沒有類似于"(Re)join group" 之類的日志

如何給消費(fèi)者分配分區(qū)呢
1.每個(gè)broker都有一個(gè)協(xié)調(diào)者組件汇在,由協(xié)調(diào)者組件來分配蓖墅,分配的策略可以配置在消費(fèi)者參數(shù)里。
2.根據(jù)消費(fèi)組id的hashcode來對(duì)位移主題分區(qū)數(shù)取余弟灼,得到的分區(qū)所在的broker即為這個(gè)消費(fèi)組的協(xié)調(diào)者惰爬。

當(dāng)kafka有第一個(gè)消費(fèi)者時(shí)會(huì)自動(dòng)創(chuàng)建位移主題:__consumer_offsets
broker端參數(shù):

  • Kafka 自動(dòng)創(chuàng)建的分區(qū)數(shù)
    offsets.topic.num.partitions 默認(rèn)50
  • Kafka 自動(dòng)創(chuàng)建的副本數(shù)
    offsets.topic.replication.factor 默認(rèn)3

如果是自動(dòng)提交位移,enable.auto.commit = true帅涂;consumer會(huì)根據(jù) auto.commit.interval.ms這個(gè)配置一直寫消息。會(huì)有一個(gè)Log Cleaner的線程去定期的Compact這些消息尤蛮,即只保留最新的偏移量媳友。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市产捞,隨后出現(xiàn)的幾起案子醇锚,更是在濱河造成了極大的恐慌,老刑警劉巖坯临,帶你破解...
    沈念sama閱讀 218,386評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件搂抒,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡尿扯,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門焰雕,熙熙樓的掌柜王于貴愁眉苦臉地迎上來衷笋,“玉大人,你說我怎么就攤上這事矩屁”僮冢” “怎么了?”我有些...
    開封第一講書人閱讀 164,704評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵吝秕,是天一觀的道長(zhǎng)泊脐。 經(jīng)常有香客問我,道長(zhǎng)烁峭,這世上最難降的妖魔是什么容客? 我笑而不...
    開封第一講書人閱讀 58,702評(píng)論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮约郁,結(jié)果婚禮上缩挑,老公的妹妹穿的比我還像新娘。我一直安慰自己鬓梅,他們只是感情好供置,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著绽快,像睡著了一般芥丧。 火紅的嫁衣襯著肌膚如雪紧阔。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,573評(píng)論 1 305
  • 那天续担,我揣著相機(jī)與錄音擅耽,去河邊找鬼。 笑死赤拒,一個(gè)胖子當(dāng)著我的面吹牛秫筏,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播挎挖,決...
    沈念sama閱讀 40,314評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼这敬,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了蕉朵?” 一聲冷哼從身側(cè)響起崔涂,我...
    開封第一講書人閱讀 39,230評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎始衅,沒想到半個(gè)月后冷蚂,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,680評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡汛闸,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評(píng)論 3 336
  • 正文 我和宋清朗相戀三年蝙茶,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片诸老。...
    茶點(diǎn)故事閱讀 39,991評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡隆夯,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出别伏,到底是詐尸還是另有隱情蹄衷,我是刑警寧澤,帶...
    沈念sama閱讀 35,706評(píng)論 5 346
  • 正文 年R本政府宣布厘肮,位于F島的核電站愧口,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏类茂。R本人自食惡果不足惜耍属,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望巩检。 院中可真熱鬧恬涧,春花似錦、人聲如沸碴巾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,910評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至提揍,卻和暖如春啤月,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背劳跃。 一陣腳步聲響...
    開封第一講書人閱讀 33,038評(píng)論 1 270
  • 我被黑心中介騙來泰國(guó)打工谎仲, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人刨仑。 一個(gè)月前我還...
    沈念sama閱讀 48,158評(píng)論 3 370
  • 正文 我出身青樓郑诺,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親杉武。 傳聞我的和親對(duì)象是個(gè)殘疾皇子辙诞,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 了解了什么是kafka( https://www.cnblogs.com/tree1123/p/11226880....
    大數(shù)據(jù)流動(dòng)閱讀 588評(píng)論 1 0
  • 一、consumer特點(diǎn) consumer不使用zk保存消費(fèi)位移(offset)轻抱,而是使用內(nèi)部的消息隊(duì)列飞涂。因?yàn)楫?dāng)數(shù)...
    ands999閱讀 813評(píng)論 0 3
  • MQ(消息隊(duì)列)是跨進(jìn)程通信的方式之一,可理解為異步rpc祈搜,上游系統(tǒng)對(duì)調(diào)用結(jié)果的態(tài)度往往是重要不緊急较店。使用消息隊(duì)列...
    allin8116閱讀 516評(píng)論 0 0
  • 本文是根據(jù)平時(shí)面試以及網(wǎng)上資源進(jìn)行的整理。希望對(duì)小伙伴們面試有幫助容燕。 消息隊(duì)列的作用和使用場(chǎng)景 通過異步處理提高響...
    王知無閱讀 740評(píng)論 0 2
  • 1 開始-命令提示符 cmd管理員身份2 停止mysql服務(wù)3 mysqld --skip-grant-table...
    白樺樹97閱讀 2,073評(píng)論 0 0