發(fā)現(xiàn)問(wèn)題：上層服務(wù)A任務(wù)失敗觸發(fā)告警八拱，排查是因?yàn)檎{(diào)用服務(wù)B時(shí)接口偶現(xiàn)time out。
登錄服務(wù)B定位：
首先確定網(wǎng)絡(luò)無(wú)異常。
然后查看了下上層服務(wù)A報(bào)超時(shí)的請(qǐng)求粪摘，服務(wù)B確實(shí)產(chǎn)生了訪問(wèn)日志，懷疑是服務(wù)B內(nèi)部問(wèn)題绍坝。
Top查看了下CPU使用情況徘意，發(fā)現(xiàn)CPU使用率較低，但是每隔幾秒會(huì)跑到300%以上（4核）轩褐，業(yè)務(wù)上沒(méi)有這種間隔幾秒執(zhí)行的后臺(tái)任務(wù)椎咧，懷疑是GC異常了。
用jstat -gc *** 5000 10查看GC情況灾挨，嚇了一跳邑退。每隔5秒打印一次GC，F(xiàn)GC在不斷增長(zhǎng)劳澄，幾乎每5秒FGC要增長(zhǎng)1~2次地技，每次花費(fèi)2秒。（公司內(nèi)網(wǎng)無(wú)法上傳圖片秒拔，改文字描述莫矗。。。）
用jmap -histo:live看了下堆內(nèi)的對(duì)象占用情況作谚，發(fā)現(xiàn)業(yè)務(wù)對(duì)象占用很低三娩，絕大部分是hibernate的內(nèi)部對(duì)象。
用jmap將堆導(dǎo)出妹懒，然后重啟了服務(wù)雀监，觀察服務(wù)暫時(shí)正常，然后用MAT打開(kāi)堆文件分析內(nèi)存泄漏情況：
One instance of "org.hibernate.internal.SessionFactoryImpl" loaded by "org.apache.catalina.loader.WebappClassLoader @ 0x70012b8a0" occupies 2,683,463,880 (95.68%) bytes. The memory is accumulated in one instance of "org.hibernate.internal.util.collections.BoundedConcurrentHashMap$Segment[]" loaded by "org.apache.catalina.loader.WebappClassLoader @ 0x70012b8a0".
發(fā)現(xiàn)SessionFactoryImpl下整個(gè)引用鏈占用了對(duì)95.68%的空間眨唬，往下跟蹤了一下会前，發(fā)現(xiàn)空間是被org.hibernate.engine.query.spi.QueryPlanCache占用。
查了下資料匾竿，QueryPlanCache占用多大瓦宜，它基本上歸結(jié)為IN子句中具有可變數(shù)量的值，而Hibernate試圖緩存這些查詢計(jì)劃岭妖。如： select t from Thing t where t.id in (?)临庇。Hibernate緩存這些解析的HQL查詢。如果in子句后面跟不同數(shù)量或數(shù)值昵慌，都會(huì)增加一條緩存假夺。業(yè)務(wù)上確實(shí)存在in后面帶了大量子句的場(chǎng)景。
先配置
<property
name="hibernate.query.plan_cache_max_size"
value="2048"
/>
<property
name="hibernate.query.plan_parameter_metadata_max_size"
value="128"
/>
暫時(shí)規(guī)避問(wèn)題斋攀。
PS：奇怪為什么這里做緩存不用WeakReference或SoftReference侄泽？
記錄一次線上服務(wù)接口偶現(xiàn)超時(shí)問(wèn)題定位（內(nèi)存問(wèn)題）
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)艰垂，“玉大人泡仗，你說(shuō)我怎么就攤上這事〔略鳎” “怎么了娩怎？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長(zhǎng)胰柑。 經(jīng)常有香客問(wèn)我截亦，道長(zhǎng)爬泥，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任崩瓤，我火速辦了婚禮袍啡，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘却桶。我一直安慰自己境输，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布颖系。 她就那樣靜靜地躺著畴嘶，像睡著了一般。 火紅的嫁衣襯著肌膚如雪集晚。 梳的紋絲不亂的頭發(fā)上，一...
- 那天区匣，我揣著相機(jī)與錄音偷拔，去河邊找鬼。 笑死亏钩，一個(gè)胖子當(dāng)著我的面吹牛莲绰，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播姑丑，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼蛤签，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了栅哀？” 一聲冷哼從身側(cè)響起震肮，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎留拾，沒(méi)想到半個(gè)月后戳晌，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡痴柔，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年沦偎，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片咳蔚。...
- 正文 年R本政府宣布糯耍，位于F島的核電站妄荔，受9級(jí)特大地震影響泼菌，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜啦租，卻給世界環(huán)境...
- 文/蒙蒙 一哗伯、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧篷角，春花似錦焊刹、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至嘉蕾，卻和暖如春贺奠，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背错忱。 一陣腳步聲響...
- 正文 我出身青樓儿普，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親掷倔。 傳聞我的和親對(duì)象是個(gè)殘疾皇子眉孩，可洞房花燭夜當(dāng)晚...
