01. KafkaConsumer 訂閱topic數(shù)據(jù),不通方式的區(qū)別

一. KafkaConsumer訂閱topic數(shù)據(jù)的方式可以分為兩種

1. 通過subscribe方法訂閱蚪腋,api接口如下:

1.1?public void subscribe(Collection topics)胀莹;

topics:想訂閱相關(guān)topic集合

1.2?public void subscribe(Collection topics, ConsumerRebalanceListener listener)

topics:想訂閱相關(guān)topic集合

listener:當(dāng)相同group.id下有多個consumer時议蟆,會觸發(fā)topic partition的重新分配,此參數(shù)就是重新分配時的回調(diào)監(jiān)聽器

舉個例子:

例如test topic有兩個partition歹篓,partition-0和partition-1

當(dāng)group.id為test_group的consumer消費test topic的數(shù)據(jù)時瘫证,當(dāng)只有一個consumer時,這個consumer負(fù)責(zé)消費partition-0和partition-1的數(shù)據(jù)滋捶。

如果此時再有一個group.id為test_group的consumer訂閱test topic的數(shù)據(jù)時痛悯,就會觸發(fā)consumer組的再平衡處理,每一個consumer分別負(fù)責(zé)消費一個partition的數(shù)據(jù)重窟。

再平衡重新分配是如何實現(xiàn)的载萌,這個比較復(fù)雜,會在后續(xù)的文章中通過源碼,詳細(xì)介紹

1.3?public void subscribe(Pattern pattern, ConsumerRebalanceListener listener)

pattern:想訂閱相關(guān)topic的正則表達(dá)式

listener:當(dāng)相同group.id下有多個consumer時扭仁,會觸發(fā)topic partition的重新分配垮衷,此參數(shù)就是重新分配時的回調(diào)監(jiān)聽器

2. 通過assign方法訂閱,api接口如下:

2.1?public void assign(Collection partitions)

partitions:想訂閱相關(guān)topic的TopicPartition集合

此方法相當(dāng)于是人為的控制我們想要訂閱哪些topic的哪些partition

舉個例子:

例如test topic有兩個partition乖坠,partition-0和partition-1搀突,可以通過下面的方式訂閱

TopicPartition tp0 =new TopicPartition("test", 0);

TopicPartition tp1 =new TopicPartition("test", 1);

consumer.assign(Arrays.asList(tp0, tp1));

二 總結(jié)

通過上面對KafkaConsumer相關(guān)api的詳細(xì)說明,我們可以得知熊泵,這兩種方式的區(qū)別如下:

當(dāng)相同group.id下有多個消費者時仰迁,subscribe相關(guān)api方法會自動觸發(fā)消費者消費哪些topic partition的再平衡,

相反以assign相關(guān)api訂閱則不會觸發(fā)再平衡顽分。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末徐许,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子卒蘸,更是在濱河造成了極大的恐慌雌隅,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,525評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件缸沃,死亡現(xiàn)場離奇詭異恰起,居然都是意外死亡,警方通過查閱死者的電腦和手機趾牧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,203評論 3 395
  • 文/潘曉璐 我一進(jìn)店門检盼,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人武氓,你說我怎么就攤上這事梯皿。” “怎么了县恕?”我有些...
    開封第一講書人閱讀 164,862評論 0 354
  • 文/不壞的土叔 我叫張陵东羹,是天一觀的道長。 經(jīng)常有香客問我忠烛,道長属提,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,728評論 1 294
  • 正文 為了忘掉前任美尸,我火速辦了婚禮冤议,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘师坎。我一直安慰自己恕酸,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,743評論 6 392
  • 文/花漫 我一把揭開白布胯陋。 她就那樣靜靜地躺著蕊温,像睡著了一般袱箱。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上义矛,一...
    開封第一講書人閱讀 51,590評論 1 305
  • 那天发笔,我揣著相機與錄音,去河邊找鬼凉翻。 笑死了讨,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的制轰。 我是一名探鬼主播前计,決...
    沈念sama閱讀 40,330評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼垃杖!你這毒婦竟也來了残炮?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,244評論 0 276
  • 序言:老撾萬榮一對情侶失蹤缩滨,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后泉瞻,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體脉漏,經(jīng)...
    沈念sama閱讀 45,693評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,885評論 3 336
  • 正文 我和宋清朗相戀三年袖牙,在試婚紗的時候發(fā)現(xiàn)自己被綠了侧巨。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,001評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡鞭达,死狀恐怖司忱,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情畴蹭,我是刑警寧澤坦仍,帶...
    沈念sama閱讀 35,723評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站叨襟,受9級特大地震影響繁扎,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜糊闽,卻給世界環(huán)境...
    茶點故事閱讀 41,343評論 3 330
  • 文/蒙蒙 一梳玫、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧右犹,春花似錦提澎、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,919評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽积糯。三九已至,卻和暖如春碴犬,著一層夾襖步出監(jiān)牢的瞬間絮宁,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,042評論 1 270
  • 我被黑心中介騙來泰國打工服协, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留绍昂,地道東北人。 一個月前我還...
    沈念sama閱讀 48,191評論 3 370
  • 正文 我出身青樓偿荷,卻偏偏與公主長得像窘游,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子跳纳,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,955評論 2 355

推薦閱讀更多精彩內(nèi)容