ZooKeeper為kafka做負載均衡

消息生產者:producer
消息消費者:consumer
主題:即Topic之斯,由用戶定義并配置在Kafka服務端铅乡,用于建立生產者和消費者之間的訂閱關系:生產者發(fā)送消息到指定Topic下,消費者從這個Topic下消費消息。
Broker:即Kafka服務器费彼,用于存儲消息,在消息中間件中通常被稱為Broker
消費者分組:Group
Offset:消息存儲在Kafka的Broker上口芍,消費者拉取消息數據的過程中需要知道消息在文件中的偏移量箍铲,這個偏移量就是所謂的Offset

ZooKeeper負責管理所有Broker服務器列表,并且建立了對應路徑來對其進行管理/brokers/ids

每個Broker服務器在啟動時鬓椭,都會到ZooKeeper上進行注冊颠猴,其節(jié)點路徑為/broker/ids/[0...N]

Topic注冊:Kafka當中,會將同一個Topic的消息分成多個區(qū)小染,分布到多個Broker上翘瓮,這些分區(qū)信息和Broker的對應關系由ZooKeeper來維護

ZooKeeper負載均衡實現:
  • 每當一個Broker啟動時,會首先完成Broker注冊過程裤翩,在ZooKeeper的節(jié)點列表里保存Broker资盅。
  • Kafka的生產者會對ZooKeeper上的“Broker的新增與減少”、“Topic的新增和減少”和“Broker和Topic關聯關系的變化”等事件注冊Watcher監(jiān)聽
  • 通過ZooKeeper的Watcher通知能夠讓生產者動態(tài)的獲取Broker和Topic的變化情況
  • Kafka有消費者分組的概念,每個消費者分組包含了若干個消費者呵扛,每一條消息只會發(fā)送給分組內的一個消費者每庆,不同消費者分組消費自己特定的Topic下面的消息,互不干擾
  • Kafka會為每個消費者分配全局唯一的Consumer ID今穿,采用“Hostname:UUID”形式來表示
  • 每個消費者一旦確定了對一個消息分區(qū)的消費權利缤灵,ZooKeeper會將其Consumer ID寫入到對應消息分區(qū)的臨時節(jié)點上
  • 消費進度管理:Kafka需要定時地將分區(qū)消息的消費進度,即Offset記錄到ZooKeeper上去
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末蓝晒,一起剝皮案震驚了整個濱河市腮出,隨后出現的幾起案子,更是在濱河造成了極大的恐慌芝薇,老刑警劉巖利诺,帶你破解...
    沈念sama閱讀 210,914評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異剩燥,居然都是意外死亡,警方通過查閱死者的電腦和手機立倍,發(fā)現死者居然都...
    沈念sama閱讀 89,935評論 2 383
  • 文/潘曉璐 我一進店門灭红,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人口注,你說我怎么就攤上這事变擒。” “怎么了寝志?”我有些...
    開封第一講書人閱讀 156,531評論 0 345
  • 文/不壞的土叔 我叫張陵娇斑,是天一觀的道長。 經常有香客問我材部,道長毫缆,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,309評論 1 282
  • 正文 為了忘掉前任乐导,我火速辦了婚禮苦丁,結果婚禮上,老公的妹妹穿的比我還像新娘物臂。我一直安慰自己旺拉,他們只是感情好,可當我...
    茶點故事閱讀 65,381評論 5 384
  • 文/花漫 我一把揭開白布棵磷。 她就那樣靜靜地躺著蛾狗,像睡著了一般。 火紅的嫁衣襯著肌膚如雪仪媒。 梳的紋絲不亂的頭發(fā)上沉桌,一...
    開封第一講書人閱讀 49,730評論 1 289
  • 那天,我揣著相機與錄音,去河邊找鬼蒲牧。 笑死撇贺,一個胖子當著我的面吹牛,可吹牛的內容都是我干的冰抢。 我是一名探鬼主播松嘶,決...
    沈念sama閱讀 38,882評論 3 404
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼挎扰!你這毒婦竟也來了翠订?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,643評論 0 266
  • 序言:老撾萬榮一對情侶失蹤遵倦,失蹤者是張志新(化名)和其女友劉穎尽超,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體梧躺,經...
    沈念sama閱讀 44,095評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡似谁,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,448評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了掠哥。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片巩踏。...
    茶點故事閱讀 38,566評論 1 339
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖续搀,靈堂內的尸體忽然破棺而出塞琼,到底是詐尸還是另有隱情,我是刑警寧澤禁舷,帶...
    沈念sama閱讀 34,253評論 4 328
  • 正文 年R本政府宣布彪杉,位于F島的核電站,受9級特大地震影響牵咙,放射性物質發(fā)生泄漏派近。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,829評論 3 312
  • 文/蒙蒙 一洁桌、第九天 我趴在偏房一處隱蔽的房頂上張望构哺。 院中可真熱鬧,春花似錦战坤、人聲如沸曙强。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,715評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽碟嘴。三九已至,卻和暖如春囊卜,著一層夾襖步出監(jiān)牢的瞬間娜扇,已是汗流浹背错沃。 一陣腳步聲響...
    開封第一講書人閱讀 31,945評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留雀瓢,地道東北人枢析。 一個月前我還...
    沈念sama閱讀 46,248評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像刃麸,于是被迫代替她去往敵國和親醒叁。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,440評論 2 348

推薦閱讀更多精彩內容

  • 姓名:周小蓬 16019110037 轉載自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw閱讀 34,712評論 13 425
  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理泊业,服務發(fā)現把沼,斷路器,智...
    卡卡羅2017閱讀 134,626評論 18 139
  • kafka的定義:是一個分布式消息系統(tǒng)吁伺,由LinkedIn使用Scala編寫饮睬,用作LinkedIn的活動流(Act...
    時待吾閱讀 5,309評論 1 15
  • 一、入門1篮奄、簡介Kafka is a distributed,partitioned,replicated com...
    HxLiang閱讀 3,343評論 0 9
  • Kafka入門經典教程-Kafka-about云開發(fā) http://www.aboutyun.com/threa...
    葡萄喃喃囈語閱讀 10,812評論 4 54