一次故障的查找記錄

image

ZERO

????持續(xù)更新 請關(guān)注:https://zorkelvll.cn/blogs/zorkelvll/articles/2019/01/16/1547619476722

背景

????在一次某個項目sp-jar運行過程中,總是在過一段時間后該jar進程總是會“無緣無故”(怎么可能是無緣無故呢缓淹,一切都是有原因的匿情,只不過自己還不知道而已)結(jié)束掉或者被殺死棉圈,因此決定進行一次進行查找以自我地提升报辱,畢竟在很小的一個以外包demo服務(wù)為導(dǎo)向的非技術(shù)性公司,這樣的機會也是非常少的吗铐!

????既然息楔,難得有這樣的實戰(zhàn)機會,就不應(yīng)該再僅僅停留在理論上對各類故障定位解決重斑、JVM分析的理論層面上!于是兵睛,決定進行一番探索!

1窥浪、系統(tǒng)日志

  • 首先祖很,在該應(yīng)用運行過程中,記錄其運行的PID號為24296

  • 在系統(tǒng)日志/var/log/messages中定位原因漾脂,執(zhí)行命令

    cd /var/log

    cat messages | grep 24296

imagepng
  • 如查詢結(jié)果假颇,顯然知道是出現(xiàn)了OOM異常,被系統(tǒng)殺死了骨稿;接下來笨鸡,就是定位是應(yīng)用中哪段代碼導(dǎo)致的該異常

分析插曲

畢竟第一次摸索著實踐,也沒啥有經(jīng)驗人士面基坦冠,因此分析以為:

  • 第一次以為形耗,在應(yīng)用發(fā)生關(guān)閉的時候,是系統(tǒng)內(nèi)存超了辙浑;而這個時候成肘,系統(tǒng)會自動查找一個內(nèi)存占用最大的進程也即sp給殺死(=>但是sp被殺死启泣,并不一定就是因為sp這個應(yīng)用而導(dǎo)致的系統(tǒng)內(nèi)存超出的,也有可能是其他的應(yīng)用導(dǎo)致的系統(tǒng)內(nèi)存超出隙轻,然后系統(tǒng)去殺死了內(nèi)存占用最大的這個sp)
  • =>,因此決定去查看上面那一段報錯之前的一段log信息內(nèi)容氓轰,只能vim messages加上搜索時間點”Jan 16 02:34:34“,去查看詳細的時間點的內(nèi)容如下,
imagepng

雖然也看不太懂(汗顏)

  • 再次分析,通過zabbix上系統(tǒng)的內(nèi)存監(jiān)控累澡,發(fā)現(xiàn)系統(tǒng)內(nèi)存好像并沒有超出系統(tǒng)最大值,因此上面的以為是系統(tǒng)內(nèi)存超出了而殺死的占用最大的內(nèi)存進程般贼,說法不一定是對的
    (其實愧哟,zabbix上的時間內(nèi)存飆升的那一個時間點剛好上02:34:34 + 8差不多這個時間),

=>另外疑惑的是哼蛆,在這一時刻蕊梧,系統(tǒng)內(nèi)存確實是在飆升的,但是根據(jù)監(jiān)控圖顯示來說的系統(tǒng)內(nèi)存也還是有的腮介,仍然有6G多的內(nèi)存可供使用肥矢!一方面系統(tǒng)中被使用的內(nèi)存確實突增,另一方面叠洗,確實使用也沒有爆掉整個系統(tǒng)的內(nèi)存

=>更進一步地思考甘改,觀察zabbix中該系統(tǒng)使用內(nèi)存的走勢來說,進一步發(fā)現(xiàn)被使用的最多也就是達到2G灭抑!因此十艾,考慮:或者操作系統(tǒng)本身安全考慮導(dǎo)致的某個地方的配置內(nèi)存上限,或者JVM中的內(nèi)存最大參數(shù)Xmx設(shè)置

imagepng
  • 然后腾节,因此也有可能該sp這個應(yīng)用本身的最大可用內(nèi)存超了忘嫉,即重新設(shè)置Xmx?案腺?庆冕??救湖?愧杯?
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市鞋既,隨后出現(xiàn)的幾起案子力九,更是在濱河造成了極大的恐慌,老刑警劉巖邑闺,帶你破解...
    沈念sama閱讀 212,884評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件跌前,死亡現(xiàn)場離奇詭異,居然都是意外死亡陡舅,警方通過查閱死者的電腦和手機抵乓,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,755評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人灾炭,你說我怎么就攤上這事茎芋。” “怎么了蜈出?”我有些...
    開封第一講書人閱讀 158,369評論 0 348
  • 文/不壞的土叔 我叫張陵田弥,是天一觀的道長。 經(jīng)常有香客問我铡原,道長偷厦,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,799評論 1 285
  • 正文 為了忘掉前任燕刻,我火速辦了婚禮只泼,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘卵洗。我一直安慰自己请唱,他們只是感情好,可當我...
    茶點故事閱讀 65,910評論 6 386
  • 文/花漫 我一把揭開白布过蹂。 她就那樣靜靜地躺著籍滴,像睡著了一般。 火紅的嫁衣襯著肌膚如雪榴啸。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,096評論 1 291
  • 那天晚岭,我揣著相機與錄音鸥印,去河邊找鬼。 笑死坦报,一個胖子當著我的面吹牛库说,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播片择,決...
    沈念sama閱讀 39,159評論 3 411
  • 文/蒼蘭香墨 我猛地睜開眼潜的,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了字管?” 一聲冷哼從身側(cè)響起啰挪,我...
    開封第一講書人閱讀 37,917評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎嘲叔,沒想到半個月后亡呵,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,360評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡硫戈,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,673評論 2 327
  • 正文 我和宋清朗相戀三年锰什,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,814評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡汁胆,死狀恐怖梭姓,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情嫩码,我是刑警寧澤誉尖,帶...
    沈念sama閱讀 34,509評論 4 334
  • 正文 年R本政府宣布,位于F島的核電站谢谦,受9級特大地震影響释牺,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜回挽,卻給世界環(huán)境...
    茶點故事閱讀 40,156評論 3 317
  • 文/蒙蒙 一没咙、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧千劈,春花似錦祭刚、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至喜滨,卻和暖如春捉捅,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背虽风。 一陣腳步聲響...
    開封第一講書人閱讀 32,123評論 1 267
  • 我被黑心中介騙來泰國打工棒口, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人辜膝。 一個月前我還...
    沈念sama閱讀 46,641評論 2 362
  • 正文 我出身青樓无牵,卻偏偏與公主長得像,于是被迫代替她去往敵國和親厂抖。 傳聞我的和親對象是個殘疾皇子茎毁,可洞房花燭夜當晚...
    茶點故事閱讀 43,728評論 2 351

推薦閱讀更多精彩內(nèi)容

  • Zabbix簡介 Zabbix官方網(wǎng)站Zabbix中文文檔 本文系統(tǒng)環(huán)境是CentOS7x86_64, Zabbi...
    Zhang21閱讀 7,968評論 0 37
  • 所有知識點已整理成app app下載地址 J2EE 部分: 1.Switch能否用string做參數(shù)? 在 Jav...
    侯蛋蛋_閱讀 2,417評論 1 4
  • 冬天的早晨忱辅,讓冷風(fēng)卷了一夜過后七蜘,霧霾散盡,陽光普照在冰爽的空氣之上墙懂,喘一口寒氣崔梗,再仰臉感受下刺眼的陽光,有種三九天...
    深藍若水閱讀 288評論 0 1
  • 你有沒有過這樣的時刻呢扔亥,在自己還小的時候,冬天和父母谈为、老人一起圍在火爐旁邊旅挤,把芋頭洗干凈放到火爐中慢慢地用煤炭的火...
    羅筱粒閱讀 346評論 0 0