Kafka基礎(chǔ)知識03 -- 消費者的實現(xiàn)盯串,Springboot相關(guān)

一抚垄,kafka的java客戶端--消費者的實現(xiàn)

1. 消費者的基本實現(xiàn)

千鋒教育

2. 關(guān)于消費者自動提交和手動提交offset

1)提交的內(nèi)容

消費者無論是自動提交還是手動提交,都需要把所屬的消費組(Consumer Group)+消費的某個主題(topic)+消費的某個分區(qū)(partition)及消費的偏移量(offset)氮采,這樣的信息提交給集群的_consumer_offsets主題里面殷绍。

2)自動提交

消費者poll消息下來以后就會自動提交offset

千鋒教育

注意:自動提交會丟失消息。因為消費者在消費前提交offset鹊漠,有可能提交完后還沒消費時主到,消費者掛了。

3)手動提交

需要把自動提交的配置改成false

千鋒教育

手動又分成了兩種

\bullet ?手動同步提交

在消費完消息后調(diào)用同步提交的方法躯概,當(dāng)集群返回ack前一直阻塞登钥,返回ack后表示提交成功,執(zhí)行之后的邏輯

千鋒教育

\bullet ?手動異步提交

在消息消費完后提交娶靡,不需要等到集群ack牧牢,直接執(zhí)行之后的邏輯,可以設(shè)置一個回調(diào)方法,供集群調(diào)用塔鳍。

千鋒教育

3. 長輪詢poll消息

\bullet ?默認(rèn)情況下伯铣,消費者一次會poll500條消息

千鋒教育

\bullet ?代碼中設(shè)置了長輪詢的時間是1000毫秒

千鋒教育

意味著:

? ??\circ ?如果一次poll到500條,就直接執(zhí)行for循環(huán)

? ??\circ ?如果這一次沒有poll到500條轮纫,且時間在1s內(nèi)腔寡,那么長輪詢繼續(xù)poll,要么到500條掌唾,要么到1s

? ??\circ ?如果多次poll都沒達(dá)到500條放前,且1s時間到了,那么直接執(zhí)行for循環(huán)

如果兩次poll的間隔超過30s糯彬,集群會認(rèn)為消費者的消費能力過弱犀斋,該消費者被踢出消費組,觸發(fā)rebalance機制情连。rebalance機制會造成性能開銷,可以通過設(shè)置這個 參數(shù)览效,讓一次poll的消息條數(shù)少一點却舀。

千鋒教育

4. 消費者的健康狀態(tài)檢查

消費者每隔1s向kafka集群發(fā)送心跳,集群發(fā)現(xiàn)如果超過10s沒有續(xù)約的消費者锤灿,將被踢出消費組挽拔,觸發(fā)該消費組的rebalance機制,將該分區(qū)交給消費組里的其他消費者進(jìn)行消費但校。

千鋒教育

5. 指定分區(qū)和偏移量螃诅,時間消費

\bullet ?指定分區(qū)消費

千鋒教育

\bullet ?從頭消費(消息回溯消費)

千鋒教育

\bullet ?指定offset消費(需要指定分區(qū),然后指定offset)

千鋒教育

\bullet 指定時間消費

根據(jù)時間状囱,去所有的partition中確定該時間的offset术裸,然后去所有的partition中找到該offset之后的消息開始消費。

千鋒教育

6. 新消費組的消費offset規(guī)則

新消費組中的消費者在啟動以后亭枷,默認(rèn)會從當(dāng)前分區(qū)的最后一條消息的offset+1開始消費(消費新消息)袭艺。可以通過以下的設(shè)置叨粘,讓新的消費者第一次從頭開始消費猾编。之后開始消費新消息(最后消息的位置的偏移量+1)。

\bullet ?Latest : 默認(rèn)的升敲,消費新消息

\bullet ?earliest :?第一次從頭開始消費答倡。之后開始消費新消息(最后消息的位置的偏移量+1)

千鋒教育

二,Springboot中使用kafka

1. 引入依賴

千鋒教育

2. 編寫配置文件

千鋒教育

3. 編寫生產(chǎn)者

千鋒教育

4. 編寫消費者

千鋒教育
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末驴党,一起剝皮案震驚了整個濱河市瘪撇,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖设江,帶你破解...
    沈念sama閱讀 211,123評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件锦茁,死亡現(xiàn)場離奇詭異,居然都是意外死亡叉存,警方通過查閱死者的電腦和手機码俩,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評論 2 384
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來歼捏,“玉大人稿存,你說我怎么就攤上這事⊥啵” “怎么了瓣履?”我有些...
    開封第一講書人閱讀 156,723評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長练俐。 經(jīng)常有香客問我袖迎,道長,這世上最難降的妖魔是什么腺晾? 我笑而不...
    開封第一講書人閱讀 56,357評論 1 283
  • 正文 為了忘掉前任燕锥,我火速辦了婚禮,結(jié)果婚禮上悯蝉,老公的妹妹穿的比我還像新娘归形。我一直安慰自己,他們只是感情好鼻由,可當(dāng)我...
    茶點故事閱讀 65,412評論 5 384
  • 文/花漫 我一把揭開白布暇榴。 她就那樣靜靜地躺著,像睡著了一般蕉世。 火紅的嫁衣襯著肌膚如雪蔼紧。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,760評論 1 289
  • 那天狠轻,我揣著相機與錄音歉井,去河邊找鬼。 笑死哈误,一個胖子當(dāng)著我的面吹牛哩至,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播蜜自,決...
    沈念sama閱讀 38,904評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼菩貌,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了重荠?” 一聲冷哼從身側(cè)響起箭阶,我...
    開封第一講書人閱讀 37,672評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后仇参,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體嘹叫,經(jīng)...
    沈念sama閱讀 44,118評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,456評論 2 325
  • 正文 我和宋清朗相戀三年诈乒,在試婚紗的時候發(fā)現(xiàn)自己被綠了罩扇。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,599評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡怕磨,死狀恐怖喂饥,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情肠鲫,我是刑警寧澤员帮,帶...
    沈念sama閱讀 34,264評論 4 328
  • 正文 年R本政府宣布,位于F島的核電站导饲,受9級特大地震影響捞高,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜渣锦,卻給世界環(huán)境...
    茶點故事閱讀 39,857評論 3 312
  • 文/蒙蒙 一棠枉、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧泡挺,春花似錦、人聲如沸命浴。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,731評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽生闲。三九已至媳溺,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間碍讯,已是汗流浹背悬蔽。 一陣腳步聲響...
    開封第一講書人閱讀 31,956評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留捉兴,地道東北人蝎困。 一個月前我還...
    沈念sama閱讀 46,286評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像倍啥,于是被迫代替她去往敵國和親禾乘。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,465評論 2 348

推薦閱讀更多精彩內(nèi)容