storm1.0.2使用中遇到的問題

1,啟動的時候報錯

2015-12-03 12:28:53.338 b.s.m.n.Client [ERROR] connection attempt 10 to Netty-Client-host1.grid.myco.com/10.1.2.3:6710 failed: java.net.ConnectException: Connection refused: host1.grid.myco.com/10.1.2.3:6710

開始的時候沒有注意到這個錯誤信息,應(yīng)為拓?fù)浒l(fā)布后是正常使用的玻孟。只是在無意間看到日志中有error級別的錯誤日志。
分析:
1鳍征,感覺不是致命的錯誤黍翎,根據(jù)內(nèi)容查看了相應(yīng)端口是否可用。
2艳丛,考慮到官網(wǎng)中寫明不支持ip6匣掸,檢查機(jī)子將ip6關(guān)閉,但是還是有這樣的問題氮双。
3碰酝,考慮到啟動的順序問題,應(yīng)為查看到一個并行度為4的spout中戴差,有3個worker日志中是有錯誤信息的送爸,另外一個是沒有的。
4,看到 http://stackoverflow.com/questions/36612557/aws-workers-cant-communicate-due-to-netty-client-hostname-resolution/39104515#39104515 有人已經(jīng)提出過這個袭厂。

2,拓?fù)涮峤缓竽牛瑘箦e

Consumer has failed with exception: org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed due to group rebalance

storm ui 出現(xiàn)的錯誤信息,但是消息還是可以消費(fèi)纹磺,看到spout中的消費(fèi)進(jìn)程確實有的時間不對了肛真,證明有過balance。
分析:
1爽航,錯誤信息寫的明白,是應(yīng)為提交offset的時候做了rebalance過程乾忱,rebalance觸發(fā)的條件讥珍,在http://zqhxuyuan.github.io/2016/10/27/Kafka-Definitive-Guide-cn-04/ 這里寫的很明確,但是好端端的為什么要rebalance窄瘟。
2衷佃,考慮重要是通信超時,consumer 在通kafka中某個broker通信的時候蹄葱。需要增加超時時間氏义。
3,http://stackoverflow.com/questions/35658171/kafka-commitfailedexception-consumer-exception
提到了這樣的錯誤图云。也可以參考下 http://blog.csdn.net/weitry/article/details/53009134 惯悠,但是參數(shù)max.poll.records (1.×)需要注意版本問題。

解決方式:

  • 增加消費(fèi)超時時間竣况。消費(fèi)超時時間通過heartbeat.interval.ms設(shè)置克婶,heartbeat.interval.ms的大小不能超過session.timeout.ms,session.timeout.ms必須在[group.min.session.timeout.ms, group.max.session.timeout.ms]范圍內(nèi)丹泉。
  • 減少消息處理時間情萤;由后端處理決定。
  • 減少一次消費(fèi)的消息量摹恨。max.partition.fetch.bytes決定容量筋岛,max.poll.records(1.×)決定數(shù)量。max.partition.fetch.bytes規(guī)定了一個partition一次pull獲取的獲取的數(shù)據(jù)大小晒哄。max.poll.records規(guī)定一次pull獲取的消息數(shù)量睁宰。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市揩晴,隨后出現(xiàn)的幾起案子勋陪,更是在濱河造成了極大的恐慌,老刑警劉巖硫兰,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件诅愚,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)违孝,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進(jìn)店門刹前,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人雌桑,你說我怎么就攤上這事喇喉。” “怎么了校坑?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵拣技,是天一觀的道長。 經(jīng)常有香客問我耍目,道長膏斤,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任邪驮,我火速辦了婚禮莫辨,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘毅访。我一直安慰自己沮榜,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布喻粹。 她就那樣靜靜地躺著蟆融,像睡著了一般。 火紅的嫁衣襯著肌膚如雪守呜。 梳的紋絲不亂的頭發(fā)上振愿,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天瓦哎,我揣著相機(jī)與錄音叭喜,去河邊找鬼知态。 笑死叔收,一個胖子當(dāng)著我的面吹牛因痛,可吹牛的內(nèi)容都是我干的供屉。 我是一名探鬼主播昧廷,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼蝶防,長吁一口氣:“原來是場噩夢啊……” “哼憔晒!你這毒婦竟也來了藻肄?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤拒担,失蹤者是張志新(化名)和其女友劉穎嘹屯,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體从撼,經(jīng)...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡州弟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片婆翔。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡拯杠,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出啃奴,到底是詐尸還是另有隱情潭陪,我是刑警寧澤,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布最蕾,位于F島的核電站依溯,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏瘟则。R本人自食惡果不足惜誓沸,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望壹粟。 院中可真熱鬧,春花似錦宿百、人聲如沸趁仙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽雀费。三九已至,卻和暖如春痊焊,著一層夾襖步出監(jiān)牢的瞬間盏袄,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工薄啥, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留辕羽,地道東北人。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓垄惧,卻偏偏與公主長得像刁愿,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子到逊,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,933評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 本文轉(zhuǎn)載自http://dataunion.org/?p=9307 背景介紹Kafka簡介Kafka是一種分布式的...
    Bottle丶Fish閱讀 5,469評論 0 34
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理铣口,服務(wù)發(fā)現(xiàn),斷路器觉壶,智...
    卡卡羅2017閱讀 134,657評論 18 139
  • ** 今天看了一下kafka官網(wǎng)脑题,嘗試著在自己電腦上安裝和配置,然后學(xué)一下官方document铜靶。** Introd...
    RainChang閱讀 5,005評論 1 30
  • 粉嘟嘟熊閱讀 152評論 0 1
  • 今天接到通知可以免費(fèi)去藍(lán)樹谷游玩一天叔遂,放學(xué)回家我跟寶貝說了明天可以跟妹妹一起去玩了,開心的啊連蹦帶跳的,先回家寫作...
    相王飛閱讀 148評論 0 0