kafka

一、kafka基本概念

1赢乓、producer:消息和數(shù)據(jù)的生產(chǎn)者,向kafka的一個(gè)topic發(fā)布消息的進(jìn)程/服務(wù)/代碼石窑。

2牌芋、consumer:消息和數(shù)據(jù)的消費(fèi)者,訂閱數(shù)據(jù)(topic)并且處理其發(fā)布的消息的進(jìn)程/服務(wù)/代碼松逊。

3躺屁、consumer group: 對(duì)于同一個(gè)topic,會(huì)廣播給不同的group经宏,一個(gè)group中犀暑,只有一個(gè)consumer可以消費(fèi)該消息驯击。

4、broker: kafka集群中的每個(gè)kafka節(jié)點(diǎn)耐亏。

5徊都、topic: kafka消息的類別,對(duì)數(shù)據(jù)進(jìn)行區(qū)分广辰、隔離碟贾。

6、partition: kafka下數(shù)據(jù)存儲(chǔ)的基本單元轨域。一個(gè)topic數(shù)據(jù)袱耽,會(huì)被分散存儲(chǔ)到多個(gè)partition,每一個(gè)partition是有序的干发。

7朱巨、replication:同一個(gè)partition可能會(huì)有多個(gè)replica,多個(gè)replica之間數(shù)據(jù)是一樣的。

8枉长、replication leader: 一個(gè)partition的多個(gè)replica冀续,需要一個(gè)leader負(fù)責(zé)該partition上與producer和consumer交互。

9必峰、replica manager: 負(fù)責(zé)管理當(dāng)前broker所有分區(qū)和副本的信息洪唐,處理kafkaController發(fā)起的一些請(qǐng)求,副本狀態(tài)的切換吼蚁、添加/讀取消息等凭需。


二、kafka基本結(jié)構(gòu)


kafka基本結(jié)構(gòu)



kafka消息結(jié)構(gòu)

三肝匆、kafka特點(diǎn)

- 多分區(qū)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末粒蜈,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子旗国,更是在濱河造成了極大的恐慌枯怖,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件能曾,死亡現(xiàn)場(chǎng)離奇詭異度硝,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)寿冕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門蕊程,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蚂斤,你說我怎么就攤上這事存捺。” “怎么了?”我有些...
    開封第一講書人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵捌治,是天一觀的道長(zhǎng)岗钩。 經(jīng)常有香客問我,道長(zhǎng)肖油,這世上最難降的妖魔是什么兼吓? 我笑而不...
    開封第一講書人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮森枪,結(jié)果婚禮上视搏,老公的妹妹穿的比我還像新娘。我一直安慰自己县袱,他們只是感情好浑娜,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著式散,像睡著了一般筋遭。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上暴拄,一...
    開封第一講書人閱讀 52,736評(píng)論 1 312
  • 那天漓滔,我揣著相機(jī)與錄音,去河邊找鬼乖篷。 笑死响驴,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的撕蔼。 我是一名探鬼主播豁鲤,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼罕邀!你這毒婦竟也來了畅形?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤诉探,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后棍厌,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體肾胯,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年耘纱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了敬肚。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡束析,死狀恐怖艳馒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤弄慰,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布第美,位于F島的核電站,受9級(jí)特大地震影響陆爽,放射性物質(zhì)發(fā)生泄漏什往。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一慌闭、第九天 我趴在偏房一處隱蔽的房頂上張望别威。 院中可真熱鬧,春花似錦驴剔、人聲如沸省古。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽衫樊。三九已至,卻和暖如春利花,著一層夾襖步出監(jiān)牢的瞬間科侈,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工炒事, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留臀栈,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓挠乳,卻偏偏與公主長(zhǎng)得像权薯,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子睡扬,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容