一分鐘,教你如何迅速定位OOM

如何迅速定位OOM

u=2187389565,1115017330&fm=26&gp=0.jpg

某Java服務(wù)(假設(shè)PID=10765)出現(xiàn)了OOM咆瘟,如何快速定位村砂?

OOM常見(jiàn)原因分析

Java服務(wù)出現(xiàn)OOM肥哎,最常見(jiàn)的原因是:

  1. 內(nèi)存確實(shí)分配過(guò)小,內(nèi)存確實(shí)不夠用坐榆;
  2. 某一個(gè)對(duì)象被頻繁申請(qǐng)拴魄,卻沒(méi)有釋放,內(nèi)存不斷泄漏席镀,導(dǎo)致內(nèi)存耗盡匹中;
  3. 某一個(gè)資源被頻繁申請(qǐng),系統(tǒng)資源耗盡豪诲,例如:不斷創(chuàng)建線程顶捷,不斷發(fā)起網(wǎng)絡(luò)連接;更具體的屎篱,可以按照以下步驟服赎,使用以下工具排查。

OOM定位指南

  • 確認(rèn)是不是內(nèi)存本身就分配過(guò)小

方法:

 jmap -heap 10765
image

如上圖交播,可以查看新生代重虑,老生代堆內(nèi)存的分配大小以及使用情況,看是否本身分配過(guò)小秦士。

  • 找到最耗內(nèi)存的對(duì)象

方法:

jmap -histo:live 10765 | more
image

如上圖嚎尤,輸入命令后,會(huì)以表格的形式顯示存活對(duì)象的信息伍宦,并按照所占內(nèi)存大小排序:

  1. 實(shí)例數(shù);
  2. 所占內(nèi)存大蟹α骸次洼;
  3. 類名;

是不是很直觀遇骑?對(duì)于實(shí)例數(shù)較多卖毁,占用內(nèi)存大小較多的實(shí)例/類,相關(guān)的代碼就要針對(duì)性review了。

需要說(shuō)明的是亥啦,jmap -histo:live 會(huì)執(zhí)行一次FGC炭剪,如果仍無(wú)法定位,可dump內(nèi)存翔脱,通過(guò)Java內(nèi)存分析工具M(jìn)AT(Memory Analyzer Tool)*線下進(jìn)行分析奴拦。上圖中占內(nèi)存最多的對(duì)象是RingBufferLogEvent,共占用內(nèi)存18M届吁,屬于正常使用范圍错妖。如果發(fā)現(xiàn)某類對(duì)象占用內(nèi)存很大(例如幾個(gè)G),很可能是類對(duì)象創(chuàng)建太多疚沐,且一直未釋放暂氯。

例如:
(1)申請(qǐng)完資源后,未調(diào)用close()或dispose()釋放資源亮蛔;
(2)消費(fèi)者消費(fèi)速度慢(或停止消費(fèi)了)痴施,而生產(chǎn)者不斷往隊(duì)列中投遞任務(wù),導(dǎo)致隊(duì)列中任務(wù)累積過(guò)多究流;

  • 確認(rèn)是否是資源耗盡工具:
1.  pstree
2.  netstat

查看進(jìn)程創(chuàng)建的線程數(shù)辣吃,以及網(wǎng)絡(luò)連接數(shù),如果資源耗盡梯嗽,也可能出現(xiàn)OOM齿尽。這里介紹另一種方法,通過(guò)

1.  /proc/${PID}/fd
2.  /proc/${PID}/task

可以分別查看句柄詳情和線程數(shù)灯节。例如循头,某一臺(tái)線上服務(wù)器的sshd進(jìn)程PID是9339,執(zhí)行:ll /proc/9339/fdll /proc/9339/task
image

如上圖炎疆,sshd共占用了四個(gè)句柄
(1)0 -> 標(biāo)準(zhǔn)輸入卡骂;
(2)1 -> 標(biāo)準(zhǔn)輸出;
(3)2 -> 標(biāo)準(zhǔn)錯(cuò)誤輸出形入;
(4)3 -> socket(容易想到是監(jiān)聽(tīng)端口)全跨;

sshd只有一個(gè)主線程PID為9339,并沒(méi)有多線程亿遂。所以浓若,只要

ll /proc/${PID}/fd | wc -l
ll /proc/${PID}/task | wc -l (效果等同pstree -p | wc -l)

就能知道進(jìn)程打開(kāi)的句柄數(shù)和線程數(shù)。

你學(xué)會(huì)了么?要是覺(jué)得有收獲,給我點(diǎn)個(gè)贊吧~

聲明: 本文轉(zhuǎn)自公眾號(hào)“架構(gòu)師之路”

歡迎關(guān)注我

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末蛇数,一起剝皮案震驚了整個(gè)濱河市挪钓,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌耳舅,老刑警劉巖碌上,帶你破解...
    沈念sama閱讀 219,589評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡馏予,警方通過(guò)查閱死者的電腦和手機(jī)天梧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評(píng)論 3 396
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)霞丧,“玉大人呢岗,你說(shuō)我怎么就攤上這事◎歉荆” “怎么了敷燎?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,933評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)箩言。 經(jīng)常有香客問(wèn)我硬贯,道長(zhǎng),這世上最難降的妖魔是什么陨收? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,976評(píng)論 1 295
  • 正文 為了忘掉前任饭豹,我火速辦了婚禮,結(jié)果婚禮上务漩,老公的妹妹穿的比我還像新娘拄衰。我一直安慰自己,他們只是感情好饵骨,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,999評(píng)論 6 393
  • 文/花漫 我一把揭開(kāi)白布翘悉。 她就那樣靜靜地躺著,像睡著了一般居触。 火紅的嫁衣襯著肌膚如雪妖混。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,775評(píng)論 1 307
  • 那天轮洋,我揣著相機(jī)與錄音制市,去河邊找鬼。 笑死弊予,一個(gè)胖子當(dāng)著我的面吹牛祥楣,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播汉柒,決...
    沈念sama閱讀 40,474評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼误褪,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了碾褂?” 一聲冷哼從身側(cè)響起兽间,我...
    開(kāi)封第一講書(shū)人閱讀 39,359評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎斋扰,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,854評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡传货,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,007評(píng)論 3 338
  • 正文 我和宋清朗相戀三年屎鳍,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片问裕。...
    茶點(diǎn)故事閱讀 40,146評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡逮壁,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出粮宛,到底是詐尸還是另有隱情窥淆,我是刑警寧澤,帶...
    沈念sama閱讀 35,826評(píng)論 5 346
  • 正文 年R本政府宣布巍杈,位于F島的核電站忧饭,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏筷畦。R本人自食惡果不足惜词裤,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,484評(píng)論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望鳖宾。 院中可真熱鬧吼砂,春花似錦、人聲如沸鼎文。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,029評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)拇惋。三九已至周偎,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蚤假,已是汗流浹背栏饮。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,153評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留磷仰,地道東北人袍嬉。 一個(gè)月前我還...
    沈念sama閱讀 48,420評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像灶平,于是被迫代替她去往敵國(guó)和親伺通。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,107評(píng)論 2 356