Kafka如何實現(xiàn)分區(qū)及指定分區(qū)消費

上一篇 <<<Kafka集群如何實現(xiàn)相互感知
下一篇 >>>Kafka如何保證消息順序消費


Kafka如何實現(xiàn)分區(qū)

將所有Broker(假設(shè)共n個Broker)和待分配的Partition排序
將第i個Partition分配到第(i mod n)個Broker上
將第i個Partition的第j個Replica分配到第((i + j) mode n)個Broker上
根據(jù)上面的分配規(guī)則阴孟,若replica的數(shù)量大于broker的數(shù)量,必定會有兩個相同的replica分配到同一個broker上秸仙,產(chǎn)生冗余。因此replica的數(shù)量應(yīng)該小于或等于broker的數(shù)量部逮。

操作命令:
./bin/kafka-topics.sh --create --zookeeper 10.211.55.16:2181 --replication-factor 2 --partitions 3 --topic test1221

Kafka集群是如何知道投遞到哪個broker中

生產(chǎn)者在投遞消息的時候傳遞key枷恕,然后根據(jù)key計算hash值存在到具體的broker中,如果是相同的key味抖,最終投遞消息都是同一個broker中评甜。

消費者如何指定分區(qū)消費

@KafkaListener(topicPartitions = {@TopicPartition(topic = "mayikt", partitions = {"0"})})
public void receive(ConsumerRecord<?, ?> consumer) {
    System.out.println("topic名稱:" + consumer.topic() + ",key:" +
            consumer.key() + "," +
            "分區(qū)位置:" + consumer.partition()
            + ", 下標(biāo)" + consumer.offset());
}

推薦閱讀:
<<<消息中間件的核心思想
<<<消息中間件常見問題匯總
<<<基于Netty簡單手寫消息中間件思路
<<<消息隊列常用名詞與中間件對比
<<<Rabbitmq基礎(chǔ)知識
<<<Rabbitmq示例之點對點簡單隊列
<<<Rabbitmq示例之工作(公平)隊列
<<<Rabbitmq示例之發(fā)布訂閱模式
<<<Rabbitmq示例之路由模式Routing
<<<Rabbitmq示例之通配符模式Topics
<<<Rabbitmq示例之RPC模式
<<<Rabbitmq隊列模式總結(jié)
<<<Rabbitmq如何保證消息不丟失
<<<Springboot利用AmqpTemplate整合Rabbitmq
<<<Rabbitmq如何保證冪等性
<<<Rabbitmq的重試策略
<<<Rabbitmq通過死信隊列實現(xiàn)過期監(jiān)聽
<<<Rabbitmq解決分布式事務(wù)思路
<<<Rabbitmq解決分布式事務(wù)demo
<<<Rabbitmq環(huán)境安裝
<<<Kafka中的專業(yè)術(shù)語都有哪些
<<<Kafka的設(shè)計原理介紹
<<<Kafka集群如何實現(xiàn)相互感知
<<<Kafka如何保證消息順序消費
<<<Kafka如何保證高吞吐量
<<<Kafka集群環(huán)境搭建
<<<RocketMQ架構(gòu)原理
<<<RocketMQ、RabbitMQ和Kafka的對比
<<<SpringBoot整合RocketMQ示例
<<<RocketMQ保證順序消費demo
<<<RocketMQ如何動態(tài)擴容和縮容
<<<RocketMQ如何解決分布式事務(wù)
<<<RocketMQ單機版本安裝
<<<RocketMQ集群環(huán)境程序啟用相關(guān)知識點
<<<RocketMQ單機做主備實操
<<<RocketMQ所有配置說明

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末仔涩,一起剝皮案震驚了整個濱河市忍坷,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌熔脂,老刑警劉巖佩研,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異霞揉,居然都是意外死亡旬薯,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進(jìn)店門适秩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來绊序,“玉大人硕舆,你說我怎么就攤上這事≈韫” “怎么了抚官?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長阶捆。 經(jīng)常有香客問我凌节,道長,這世上最難降的妖魔是什么洒试? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任倍奢,我火速辦了婚禮,結(jié)果婚禮上垒棋,老公的妹妹穿的比我還像新娘卒煞。我一直安慰自己,他們只是感情好叼架,可當(dāng)我...
    茶點故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布跷坝。 她就那樣靜靜地躺著,像睡著了一般碉碉。 火紅的嫁衣襯著肌膚如雪柴钻。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天垢粮,我揣著相機與錄音贴届,去河邊找鬼。 笑死蜡吧,一個胖子當(dāng)著我的面吹牛毫蚓,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播昔善,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼元潘,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了君仆?” 一聲冷哼從身側(cè)響起翩概,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎返咱,沒想到半個月后钥庇,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡咖摹,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年评姨,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片萤晴。...
    茶點故事閱讀 40,144評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡吐句,死狀恐怖胁后,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情嗦枢,我是刑警寧澤择同,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站净宵,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏裹纳。R本人自食惡果不足惜择葡,卻給世界環(huán)境...
    茶點故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望剃氧。 院中可真熱鬧敏储,春花似錦、人聲如沸朋鞍。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽滥酥。三九已至更舞,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間坎吻,已是汗流浹背缆蝉。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留瘦真,地道東北人刊头。 一個月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像诸尽,于是被迫代替她去往敵國和親原杂。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,092評論 2 355

推薦閱讀更多精彩內(nèi)容