一、kafka基本概念
1赢乓、producer:消息和數(shù)據(jù)的生產(chǎn)者,向kafka的一個(gè)topic發(fā)布消息的進(jìn)程/服務(wù)/代碼石窑。
2牌芋、consumer:消息和數(shù)據(jù)的消費(fèi)者,訂閱數(shù)據(jù)(topic)并且處理其發(fā)布的消息的進(jìn)程/服務(wù)/代碼松逊。
3躺屁、consumer group: 對(duì)于同一個(gè)topic,會(huì)廣播給不同的group经宏,一個(gè)group中犀暑,只有一個(gè)consumer可以消費(fèi)該消息驯击。
4、broker: kafka集群中的每個(gè)kafka節(jié)點(diǎn)耐亏。
5徊都、topic: kafka消息的類別,對(duì)數(shù)據(jù)進(jìn)行區(qū)分广辰、隔離碟贾。
6、partition: kafka下數(shù)據(jù)存儲(chǔ)的基本單元轨域。一個(gè)topic數(shù)據(jù)袱耽,會(huì)被分散存儲(chǔ)到多個(gè)partition,每一個(gè)partition是有序的干发。
7朱巨、replication:同一個(gè)partition可能會(huì)有多個(gè)replica,多個(gè)replica之間數(shù)據(jù)是一樣的。
8枉长、replication leader: 一個(gè)partition的多個(gè)replica冀续,需要一個(gè)leader負(fù)責(zé)該partition上與producer和consumer交互。
9必峰、replica manager: 負(fù)責(zé)管理當(dāng)前broker所有分區(qū)和副本的信息洪唐,處理kafkaController發(fā)起的一些請(qǐng)求,副本狀態(tài)的切換吼蚁、添加/讀取消息等凭需。
二、kafka基本結(jié)構(gòu)
三肝匆、kafka特點(diǎn)
- 多分區(qū)