redis 連接池 引起的線上服務(wù) 假死

今天遇到 rancher上的服務(wù)無(wú)法相應(yīng)华嘹。

1竟终、使用 jstack -l pid 查看當(dāng)前線程的狀態(tài)

發(fā)現(xiàn)大量線程處于Waiting 狀態(tài)榴捡。

"DubboServerHandler-192.168.213.250:20889-thread-198" daemon prio=10 tid=0x00007f3a3b794800 nid=0x83b waiting on condition [0x00007f3a1ed86000]

? java.lang.Thread.State: WAITING (parking)

? ? at sun.misc.Unsafe.park(Native Method)

? ? - parking to wait for? <0x0000000700c6c208> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)

? ? at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186)

? ? at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2043)

? ? at org.apache.commons.pool2.impl.LinkedBlockingDeque.takeFirst(LinkedBlockingDeque.java:583)

? ? at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:442)

? ? at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:363)

? ? at redis.clients.util.Pool.getResource(Pool.java:48)

? ? at redis.clients.jedis.JedisPool.getResource(JedisPool.java:86)

從log 可以看出是由于 線程無(wú)法獲取redis連接诱桂。

這樣的線程大概有幾百個(gè)帘瞭。由于我們的Http請(qǐng)求淑掌,一開(kāi)始時(shí)候是先從緩存取數(shù)據(jù),如果沒(méi)有才去數(shù)據(jù)庫(kù)取蝶念,

所以所有的請(qǐng)求基本上都被waiting到獲取redis連接上抛腕,而無(wú)法相應(yīng)服務(wù)。

通過(guò)代碼排查祸轮,發(fā)現(xiàn)是在建立 redis pool 的時(shí)候兽埃,使用的都是默認(rèn)配置,

在默認(rèn)配置中适袜,最大的連接數(shù)為8個(gè)柄错,并且獲取連接時(shí)會(huì)持續(xù)等待,造成了程序在某個(gè)時(shí)候無(wú)法獲取redis連接苦酱,后面的線程持續(xù)等待售貌。

于是加上 pool的配置

JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();

jedisPoolConfig.setMaxIdle(maxIdle);

jedisPoolConfig.setMaxWaitMillis(maxWaitMillis);

jedisPoolConfig.setMaxTotal(maxTotal);

配置后,設(shè)置了超時(shí)時(shí)間疫萤,不至于所有線程都等待颂跨,而耗光app的資源。


現(xiàn)在還有一個(gè)問(wèn)題扯饶, 就是正常情況下恒削, 獲取redis 連接用完就應(yīng)該會(huì)釋放資源,到底是什么原因?qū)е伦铋_(kāi)始的

8個(gè)連接打滿尾序,等待钓丰,后續(xù)有沒(méi)有線程喚醒他們?

查看springboot 的redisTemplate 發(fā)現(xiàn)每個(gè)方法都是用完之后釋放的連接每币。

現(xiàn)在想到的:可能是某個(gè)時(shí)刻携丁,redis 無(wú)法獲取連接,導(dǎo)致所有的線程都是處于連接等待狀態(tài)兰怠,那么就沒(méi)有線程去喚醒等待的線程了梦鉴。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市揭保,隨后出現(xiàn)的幾起案子肥橙,更是在濱河造成了極大的恐慌,老刑警劉巖秸侣,帶你破解...
    沈念sama閱讀 212,080評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件快骗,死亡現(xiàn)場(chǎng)離奇詭異娜庇,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)方篮,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,422評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)名秀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人藕溅,你說(shuō)我怎么就攤上這事匕得。” “怎么了巾表?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,630評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵汁掠,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我集币,道長(zhǎng)考阱,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,554評(píng)論 1 284
  • 正文 為了忘掉前任鞠苟,我火速辦了婚禮乞榨,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘当娱。我一直安慰自己吃既,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,662評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布跨细。 她就那樣靜靜地躺著鹦倚,像睡著了一般。 火紅的嫁衣襯著肌膚如雪冀惭。 梳的紋絲不亂的頭發(fā)上震叙,一...
    開(kāi)封第一講書(shū)人閱讀 49,856評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音散休,去河邊找鬼媒楼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛溃槐,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播科吭,決...
    沈念sama閱讀 39,014評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼昏滴,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了对人?” 一聲冷哼從身側(cè)響起谣殊,我...
    開(kāi)封第一講書(shū)人閱讀 37,752評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎牺弄,沒(méi)想到半個(gè)月后姻几,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,212評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,541評(píng)論 2 327
  • 正文 我和宋清朗相戀三年蛇捌,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了抚恒。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,687評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡络拌,死狀恐怖俭驮,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情春贸,我是刑警寧澤混萝,帶...
    沈念sama閱讀 34,347評(píng)論 4 331
  • 正文 年R本政府宣布,位于F島的核電站萍恕,受9級(jí)特大地震影響逸嘀,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜允粤,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,973評(píng)論 3 315
  • 文/蒙蒙 一崭倘、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧维哈,春花似錦绳姨、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,777評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至购撼,卻和暖如春跪削,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背迂求。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,006評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工碾盐, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人揩局。 一個(gè)月前我還...
    沈念sama閱讀 46,406評(píng)論 2 360
  • 正文 我出身青樓毫玖,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親凌盯。 傳聞我的和親對(duì)象是個(gè)殘疾皇子付枫,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,576評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容

  • http://www.reibang.com/p/f343782f19fc 背景 10月2號(hào)凌晨12:08收到報(bào)警...
    吃番茄的土撥鼠閱讀 1,572評(píng)論 2 4
  • ==================================================== 一:什么...
    愛(ài)情小傻蛋閱讀 9,724評(píng)論 3 31
  • 概述 在介紹LOOM之前, 說(shuō)一下我對(duì)一個(gè)互聯(lián)網(wǎng)公司多語(yǔ)言開(kāi)發(fā)環(huán)境的感受. 現(xiàn)在互聯(lián)網(wǎng)高速發(fā)展的時(shí)代,產(chǎn)品快速迭代...
    Kungfu貓熊閱讀 4,928評(píng)論 3 49
  • ANR問(wèn)題阐滩,相信是每位開(kāi)發(fā)日常都會(huì)遇到的問(wèn)題,對(duì)于這類(lèi)問(wèn)題的分析县忌,按照官方的推薦掂榔,或網(wǎng)絡(luò)博客的總結(jié)思路能解決一定的...
    tiger桂閱讀 17,889評(píng)論 5 28
  • ??Jedis有直連方式继效,所謂直連指的是Jedis每次都會(huì)新建TCP連接,使用后在斷開(kāi)連接装获,對(duì)于平凡訪問(wèn)Redis...
    yeren108閱讀 5,896評(píng)論 0 1