記一次spring-boot 項目OOM問題排查過程

? ? 最近新做了一個告警監(jiān)控的APP項目蛙婴,后臺代碼只有用戶登錄管理和告警查詢模塊镣丑,業(yè)務量特別少舔糖,項目部署服務器上后,發(fā)現(xiàn)內(nèi)置直接飆升至2G莺匠,甚至直接OOM金吗,導致服務器系統(tǒng)重啟,于是開始尋找原因。

1摇庙、首先排查代碼旱物,看代碼是否存在死循環(huán)及循環(huán)引用等情況,經(jīng)過詳細排查后卫袒,并沒有發(fā)現(xiàn)任何問題异袄。

2、可能沒有設置合適的jvm啟動參數(shù)玛臂,于是設置該參數(shù) 烤蜕。(參考鏈接

java -Xms256m -Xmx512m -XX:ParallelGCThreads=2 -Djava.compiler=NONE -jar monitor-0.0.1-SNAPSHOT.jar

通過設定Xmx(程序運行期間最大可占用的內(nèi)存大小)、Xss(jvm啟動的每個線程分配的內(nèi)存大小)迹冤、XX:ParallelGCThreads(GC線程數(shù))以及關閉了JIT功能讽营,達成了降低內(nèi)存占用的目的。

3泡徙、設置項目jvm參數(shù)后內(nèi)存沒有繼續(xù)上升橱鹏,但是在運行過程中,發(fā)現(xiàn)內(nèi)存會上升到600M左右堪藐,自以為能夠穩(wěn)定運行了莉兰,結(jié)果運行了2個小時后又OOM了

Exception in thread "http-nio-8080-exec-3" Exception in thread "http-nec-4" java.lang.OutOfMemoryError: Java heap space

? ? ? ? at java.nio.HeapByteBuffer.<init>(Unknown Source)

? ? ? ? at java.nio.ByteBuffer.allocate(Unknown Source)

4、使用jmap進行抓包分析后發(fā)現(xiàn)礁竞,無論是否內(nèi)存溢出糖荒,都會存在幾個對象占用特別大的內(nèi)存。

這個對象是什么情況模捂,代碼里面沒有用到呀捶朵,

5、看線程名稱應該是tomcat的nio工作線程狂男,

第一步:打開Histogram看看占用內(nèi)存最大的是什么對象:

可以看到byte數(shù)組占用了接近JVM配置的最大堆的大小也就是400M综看,顯然這是OOM的原因。

第二步: 看一下究竟是哪些byte數(shù)組岖食,數(shù)組是啥內(nèi)容红碑,可以看出很明顯這和HTTP請求相關。

為了進一步驗證猜想泡垃,關閉前端調(diào)用析珊,只啟動后臺進程,此時發(fā)現(xiàn)內(nèi)存占用僅在200M左右兔毙。進一步使用jmap抓包唾琼,沒有發(fā)現(xiàn)之前內(nèi)存比較大的那幾個對象。當任意調(diào)用幾個接口后澎剥,內(nèi)存再次飆升锡溯,繼續(xù)抓包分析赶舆,發(fā)現(xiàn)又出現(xiàn)了幾個97.4M的對象,由此已經(jīng)可以確定祭饭,此OOM問題肯定與http請求和tomcat有關芜茵。進一步猜想可能是設置了什么不合理的啟動參數(shù)導致。(一般而言一次請求倡蝙,不可能會占用這么大的內(nèi)存九串。)

第三步: 通過查看GC根查看誰持有了數(shù)組的引用:

這符合之前的猜測,是tomcat的線程在處理過程中分配了97.7M的buffer在堆上寺鸥。

第四步: 檢查代碼里是否有tomcat或服務器相關配置猪钮,看到有這么一個配置:

server.maxHttpHeaderSize=102400000

server.tomcat.max-http-post-size=102400000

至此,基本已經(jīng)確定了可能就是這個不合理的最大配置參數(shù)導致的問題胆建。注銷該代碼后烤低,進一步部署驗證,發(fā)現(xiàn)問題已解決笆载。

參考鏈接

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末扑馁,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子凉驻,更是在濱河造成了極大的恐慌腻要,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件涝登,死亡現(xiàn)場離奇詭異雄家,居然都是意外死亡,警方通過查閱死者的電腦和手機缀拭,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門咳短,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蛛淋,你說我怎么就攤上這事〈垭纾” “怎么了褐荷?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長嘹悼。 經(jīng)常有香客問我叛甫,道長,這世上最難降的妖魔是什么杨伙? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任其监,我火速辦了婚禮,結(jié)果婚禮上限匣,老公的妹妹穿的比我還像新娘抖苦。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布锌历。 她就那樣靜靜地躺著贮庞,像睡著了一般。 火紅的嫁衣襯著肌膚如雪究西。 梳的紋絲不亂的頭發(fā)上窗慎,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天,我揣著相機與錄音卤材,去河邊找鬼遮斥。 笑死,一個胖子當著我的面吹牛扇丛,可吹牛的內(nèi)容都是我干的伏伐。 我是一名探鬼主播,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼晕拆,長吁一口氣:“原來是場噩夢啊……” “哼藐翎!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起实幕,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤吝镣,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后昆庇,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體末贾,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年整吆,在試婚紗的時候發(fā)現(xiàn)自己被綠了拱撵。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡表蝙,死狀恐怖拴测,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情府蛇,我是刑警寧澤集索,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站汇跨,受9級特大地震影響务荆,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜穷遂,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一函匕、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蚪黑,春花似錦盅惜、人聲如沸中剩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽咽安。三九已至,卻和暖如春蓬推,著一層夾襖步出監(jiān)牢的瞬間妆棒,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工沸伏, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留糕珊,地道東北人。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓毅糟,卻偏偏與公主長得像红选,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子姆另,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容