【Kafka】Consumer配置

從0.9.0.0開(kāi)始温赔,下面是消費(fèi)者的配置。

名稱 描述 類型 默認(rèn)值
bootstrap.servers 消費(fèi)者初始連接kafka集群時(shí)的地址列表鬼癣。不管這邊配置的什么地址陶贼,消費(fèi)者會(huì)使用所有的kafka集群服務(wù)器啤贩。消費(fèi)者會(huì)通過(guò)這些地址列表,找到所有的kafka集群機(jī)器拜秧。 list
key.deserializer 實(shí)現(xiàn)了Deserializer的key的反序列化類 class
value.deserializer 實(shí)現(xiàn)了Deserializer的value的反序列化類 class
fetch.min.bytes 每次請(qǐng)求痹屹,kafka返回的最小的數(shù)據(jù)量。如果數(shù)據(jù)量不夠枉氮,這個(gè)請(qǐng)求會(huì)等待志衍,直到數(shù)據(jù)量到達(dá)最小指標(biāo)時(shí),才會(huì)返回給消費(fèi)者聊替。如果設(shè)置大于1楼肪,會(huì)提高kafka的吞吐量,但是會(huì)有額外的等待期的代價(jià)惹悄。 int 1
group.id 標(biāo)識(shí)這臺(tái)消費(fèi)者屬于那個(gè)消費(fèi)組春叫。如果消費(fèi)者通過(guò)訂閱主題來(lái)實(shí)現(xiàn)組管理功能,或者使用基于kafka的偏移量管理策略俘侠,這個(gè)配置是必須的象缀。 string ""
heartbeat.interval.ms 使用kafka集群管理工具時(shí),消費(fèi)者協(xié)調(diào)器之間的預(yù)計(jì)心跳時(shí)間爷速。心跳的作用是確保消費(fèi)者的session是活躍的央星,同時(shí)當(dāng)新的機(jī)器加入集群或有機(jī)器掛掉的情況下觸發(fā)再平衡操作。這個(gè)配置必須小于heartbeat.interval.ms惫东,而且應(yīng)該不大于這個(gè)值的1/3莉给。為了控制正常的負(fù)載均衡的預(yù)期時(shí)間,這個(gè)值可以設(shè)置的更小廉沮。 int 3000
max.partition.fetch.bytes kafka集群每個(gè)分區(qū)一次返回的最大數(shù)據(jù)量颓遏。一次請(qǐng)求的最大內(nèi)存使用量應(yīng)該等于#partitions * max.partition.fetch.bytes。這個(gè)值必須與kafka集群允許的最大消息數(shù)據(jù)量差不多大小滞时,否則可能生產(chǎn)者發(fā)送了一個(gè)消息叁幢,大于消費(fèi)者配置的值。這種情況下坪稽,消費(fèi)者可能會(huì)在獲取那條消息時(shí)堵住曼玩。 int 1048576
session.timeout.ms 使用kafka集群管理工具時(shí)檢測(cè)失敗的超時(shí)時(shí)間。如果在session超時(shí)時(shí)間范圍內(nèi)窒百,沒(méi)有收到消費(fèi)者的心跳黍判,broker會(huì)把這個(gè)消費(fèi)者置為失效,并觸發(fā)消費(fèi)者負(fù)載均衡篙梢。因?yàn)橹挥性谡{(diào)用poll方法時(shí)才會(huì)發(fā)送心跳顷帖,更大的session超時(shí)時(shí)間允許消費(fèi)者在poll循環(huán)周期內(nèi)處理消息內(nèi)容,盡管這會(huì)有花費(fèi)更長(zhǎng)時(shí)間檢測(cè)失效的代價(jià)。如果想控制消費(fèi)者處理消息的時(shí)間贬墩,還可以參考max.poll.records榴嗅。注意這個(gè)值的大小應(yīng)該在group.min.session.timeout.ms和group.max.session.timeout.ms范圍內(nèi)灰瞻。 int 30000
ssl.key.password 私鑰存儲(chǔ)文件的私鑰密碼凡纳。可選配置栏饮。 password null
ssl.keystore.location 私鑰存儲(chǔ)文件的路徑吊说÷塾剑可選配置,并且可用來(lái)作為客戶端的雙向認(rèn)證颁井。 string null
ssl.keystore.password 私鑰存儲(chǔ)文件的存儲(chǔ)密碼厅贪。可選配置雅宾,并且只有ssl.keystore.location配置的情況下才需要配置养涮。 password null
ssl.truststore.location 信任秘鑰文件路徑。 string null
ssl.truststore.password 信任秘鑰文件密碼眉抬。 password null
auto.offset.reset 當(dāng)kafka的初始偏移量沒(méi)了贯吓,或者當(dāng)前的偏移量不存在的情況下,應(yīng)該怎么辦蜀变?下面有幾種策略:earliest(將偏移量自動(dòng)重置為最初的值)悄谐、latest(自動(dòng)將偏移量置為最新的值)、none(如果在消費(fèi)者組中沒(méi)有發(fā)現(xiàn)前一個(gè)偏移量库北,就向消費(fèi)者拋出一個(gè)異常)爬舰、anything else(向消費(fèi)者拋出異常) string latest
connections.max.idle.ms 配置時(shí)間后,關(guān)閉空閑的連接 long 540000
enable.auto.commit 如果設(shè)為true寒瓦,消費(fèi)者的偏移量會(huì)定期在后臺(tái)提交情屹。 boolean true
exclude.internal.topics 內(nèi)部主題(比如偏移量)是否需要暴露給消費(fèi)者。如果設(shè)為true杂腰,獲取內(nèi)部主題消息的途徑就是訂閱他們垃你。 boolean true
max.poll.records 一次poll調(diào)用返回的最大消息數(shù)量。 int 2147483647
partition.assignment.strategy 使用組管理時(shí)喂很,客戶端使用的分區(qū)策略的類名惜颇,根據(jù)這個(gè)策略來(lái)進(jìn)行消費(fèi)分區(qū)。 list [org.apache.kafka.clients.consumer.RangeAssignor]
receive.buffer.bytes SO_RCVBUF讀取數(shù)據(jù)使用的內(nèi)存大小恤筛。 int 65536
request.timeout.ms 這個(gè)配置控制一次請(qǐng)求響應(yīng)的最長(zhǎng)等待時(shí)間。如果在超時(shí)時(shí)間內(nèi)未得到響應(yīng)芹橡,kafka要么重發(fā)這條消息毒坛,要么超過(guò)重試次數(shù)的情況下直接置為失敗。 int 40000
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市煎殷,隨后出現(xiàn)的幾起案子屯伞,更是在濱河造成了極大的恐慌,老刑警劉巖豪直,帶你破解...
    沈念sama閱讀 218,386評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件劣摇,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡弓乙,警方通過(guò)查閱死者的電腦和手機(jī)末融,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)暇韧,“玉大人勾习,你說(shuō)我怎么就攤上這事⌒覆#” “怎么了巧婶?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,704評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)涂乌。 經(jīng)常有香客問(wèn)我艺栈,道長(zhǎng),這世上最難降的妖魔是什么湾盒? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,702評(píng)論 1 294
  • 正文 為了忘掉前任湿右,我火速辦了婚禮,結(jié)果婚禮上历涝,老公的妹妹穿的比我還像新娘诅需。我一直安慰自己,他們只是感情好荧库,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布堰塌。 她就那樣靜靜地躺著,像睡著了一般分衫。 火紅的嫁衣襯著肌膚如雪场刑。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,573評(píng)論 1 305
  • 那天蚪战,我揣著相機(jī)與錄音牵现,去河邊找鬼。 笑死邀桑,一個(gè)胖子當(dāng)著我的面吹牛瞎疼,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播壁畸,決...
    沈念sama閱讀 40,314評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼贼急,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼茅茂!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起太抓,我...
    開(kāi)封第一講書(shū)人閱讀 39,230評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤空闲,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后走敌,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體碴倾,經(jīng)...
    沈念sama閱讀 45,680評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評(píng)論 3 336
  • 正文 我和宋清朗相戀三年掉丽,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了跌榔。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,991評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡机打,死狀恐怖矫户,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情残邀,我是刑警寧澤皆辽,帶...
    沈念sama閱讀 35,706評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站芥挣,受9級(jí)特大地震影響驱闷,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜空免,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評(píng)論 3 330
  • 文/蒙蒙 一空另、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蹋砚,春花似錦扼菠、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,910評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至墨坚,卻和暖如春秧饮,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背泽篮。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,038評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工盗尸, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人帽撑。 一個(gè)月前我還...
    沈念sama閱讀 48,158評(píng)論 3 370
  • 正文 我出身青樓泼各,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親亏拉。 傳聞我的和親對(duì)象是個(gè)殘疾皇子扣蜻,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理寸癌,服務(wù)發(fā)現(xiàn),斷路器弱贼,智...
    卡卡羅2017閱讀 134,657評(píng)論 18 139
  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,139評(píng)論 25 707
  • Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 46,811評(píng)論 6 342
  • Consumer 與 partition其實(shí)topic中的partition被分配到某個(gè)consumer上,也就是...
    PythonMaO閱讀 9,290評(píng)論 0 0
  • 筆名:樽月霉霉 簡(jiǎn)介:小新和安可分手了磷蛹,這成了時(shí)尚圈新流行風(fēng)標(biāo)之一吮旅。 01.小張:安可,你和小新分手了? 安可:是...
    旁趣PUNCH閱讀 225評(píng)論 0 0