簡(jiǎn)介
在之前的OOM問(wèn)題復(fù)盤(pán)之后，本周呼盆，又一Java服務(wù)出現(xiàn)了內(nèi)存問(wèn)題年扩，這次問(wèn)題不嚴(yán)重，只會(huì)觸發(fā)堆內(nèi)存占用高報(bào)警访圃，沒(méi)有觸發(fā)OOM厨幻，但好在之前的復(fù)盤(pán)中總結(jié)了dump腳本，會(huì)在堆占用高時(shí)自動(dòng)執(zhí)行jstack與jmap，使得我們成功保留了問(wèn)題現(xiàn)場(chǎng)况脆。
查看堆占用分布
發(fā)現(xiàn)有heapdump文件后平绩，我立馬拷貝到本機(jī)，并使用MAT分析漠另，如下：
很顯然，好像是什么接口分配了非常大的String對(duì)象跃赚，一個(gè)String對(duì)象約200MB笆搓，那它是哪分配的呢？
查找大對(duì)象分配線程
這個(gè)分配行為肯定是某個(gè)線程做的纬傲，而線程是最常見(jiàn)的GC Root满败，因此只要查找對(duì)象的GC Root即可，如下：
找到了大對(duì)象對(duì)應(yīng)的分配線程是http-nio-8088-exec-6叹括，如下：
查看線程棧
如何查看這個(gè)線程在干什么呢算墨？在MAT中摸索了一會(huì)，沒(méi)找到相關(guān)內(nèi)容汁雷，回想起我們的dump腳本中記錄了jstack净嘀，打開(kāi)看看，如下：
可以發(fā)現(xiàn)侠讯，這個(gè)線程正在做json序列化挖藏，但我仔細(xì)找了好一會(huì)，也沒(méi)有找到相關(guān)接口的Controller厢漩，這是因?yàn)榫€程已經(jīng)執(zhí)行完了Controller里面的邏輯膜眠，之后返回接口響應(yīng)數(shù)據(jù)時(shí)分配的大對(duì)象。
可是溜嗜，線程棧中沒(méi)有業(yè)務(wù)代碼宵膨，就沒(méi)法定位是哪個(gè)接口有問(wèn)題了。炸宵。辟躏。
檢查accesslog日志
考慮到分配大對(duì)象的接口肯定會(huì)很慢，于是我轉(zhuǎn)向查看tomcat的accesslog日志焙压，如下：
終于鸿脓，找到了問(wèn)題接口，這個(gè)接口是用來(lái)查詢商品數(shù)據(jù)的涯曲，當(dāng)輸入3時(shí)會(huì)查詢出所有3開(kāi)頭的商品野哭，而這有20w+數(shù)據(jù)，解決問(wèn)題很簡(jiǎn)單幻件，加個(gè)limit完事拨黔。
排查過(guò)程復(fù)盤(pán)
然而，我一直有個(gè)習(xí)慣绰沥，就是解決一個(gè)問(wèn)題后篱蝇，我會(huì)反思一下問(wèn)題解決過(guò)程中有多少運(yùn)氣成分贺待。
如果你經(jīng)常閱讀排查問(wèn)題類的技術(shù)文章，就會(huì)發(fā)現(xiàn)不少文章零截，中間突然有一步定位到了問(wèn)題根因麸塞，可能是突然發(fā)現(xiàn)了一個(gè)線索，或是硬看代碼看出來(lái)的涧衙，或是猜測(cè)某處有問(wèn)題哪工，我覺(jué)得這種排查過(guò)程都有不少運(yùn)氣成分，我希望問(wèn)題是通過(guò)多年理論基礎(chǔ)的積累和對(duì)診斷工具的熟練使用弧哎，而有章法的一步步查出來(lái)的雁比。
而上面通過(guò)accesslog能夠定位到問(wèn)題，有一定的運(yùn)氣成分撤嫩，因?yàn)楸敬蝺?nèi)存問(wèn)題不極端偎捎，如果此接口請(qǐng)求量大，那就會(huì)瞬間觸發(fā)多次FGC序攘，進(jìn)而會(huì)影響其它接口也變慢茴她，進(jìn)而無(wú)法分辨出哪個(gè)是導(dǎo)致問(wèn)題的接口！
我想程奠，從理論上來(lái)說(shuō)败京，Java堆文件里面，應(yīng)該有線程棧以及線程棧上的參數(shù)梦染，因?yàn)榫€程是對(duì)象赡麦，參數(shù)也是對(duì)象，它們理應(yīng)都在堆里帕识，于是我找了個(gè)空閑時(shí)間泛粹，又摸索起MAT這個(gè)工具了。
MAT查看線程棧
摸索了一會(huì)肮疗，我就發(fā)現(xiàn)有這樣一個(gè)按鈕晶姊，可以查看線程信息，如下：
找到前面說(shuō)的線程http-nio-8088-exec-6伪货，展開(kāi)后们衙，就可以發(fā)現(xiàn)線程棧以及棧上的參數(shù)，如下：
這就找到了請(qǐng)求的Request參數(shù)對(duì)象碱呼，再將Request對(duì)象多次展開(kāi)后蒙挑，就可以找到接口url信息，如下：
嗯愚臀，這樣分析heapdump文件真tm的高效啊??
MAT下載地址：https://www.eclipse.org/mat/downloads.php
VisualVM查看線程棧
考慮到不少同學(xué)習(xí)慣用VisualVM分析heapdump忆蚀，這里也放一下VisualVM的使用方法。
首先，加載heapdump文件馋袜，如下：
然后選擇相應(yīng)對(duì)象男旗，右鍵選擇Select in Threads，如下：
定位到線程棧后欣鳖，找到要查看的Request對(duì)象察皇，點(diǎn)擊進(jìn)入，如下：
同樣泽台，展開(kāi)Request對(duì)象后让网，可找到url信息，如下：
VisualVM下載地址：https://visualvm.github.io/download.html
總結(jié)
雖然我也用MAT很多次了师痕，但每次問(wèn)題都太簡(jiǎn)單，以至于沒(méi)有深入使用過(guò)MAT而账，導(dǎo)致到現(xiàn)在才知道有如此便捷的分析路徑胰坟。
