too many open files 的終極解決辦法

關(guān)于我:https://blog.csdn.net/Appleyk

====簡(jiǎn)書就是隨便記錄抖棘,不會(huì)太詳細(xì),不會(huì)注重文章的質(zhì)量煌抒,主要給自己看的===

關(guān)于這個(gè)不想說太多,網(wǎng)上一搜很多,大部分都是不負(fù)責(zé)任的琢唾,都是說改什么Linux的配置,我只想說盾饮,這是小學(xué)生吧采桃? 這明顯就是治標(biāo)不治本袄廖酢!F瞻臁工扎!

1、首先衔蹲,得定位問題肢娘,查,到底是哪些進(jìn)程或線程打開了大量的連接(scoket)沒有關(guān)閉

lsof -n | awk '{print $2}' | sort | uniq -c | sort -nr | more

2踪危、如果Linux是內(nèi)網(wǎng)環(huán)境不支持lsof命令蔬浙,那就離線安裝gcc

百度網(wǎng)盤地址: https://pan.baidu.com/s/1xFDKEJ3UkLoNJmBxIflnEg 提取碼: mxtg

上面是下載地址,里面都是些gcc安裝需要依賴的rpm包贞远,里面有個(gè)sh腳本畴博,是用來一鍵安裝所有包的

image.png

將這些rmp傳到linux服務(wù)器下,統(tǒng)一安裝即可:

rpm -Uvh *.rpm --nodeps --force

3蓝仲、查看當(dāng)前進(jìn)程相關(guān)的連接

lsof | grep pid

4俱病、jps查看當(dāng)前java進(jìn)程的狀態(tài)

jps

5、查看當(dāng)前進(jìn)程屬于哪個(gè)應(yīng)用

ps -ef | grep pid

6袱结、殺掉對(duì)應(yīng)的pid

kill -9 pid

8亮隙、總結(jié)

由于是生產(chǎn)內(nèi)網(wǎng)環(huán)境遇到的,就不截圖了垢夹,直接說明最后怎么解決的:

1溢吻、tomcat運(yùn)行一段時(shí)間就會(huì)輸出大量日志: xxxx too many open flle,這個(gè)錯(cuò)一報(bào)果元,tocmat所在的linux服務(wù)器就什么連接都create不了促王,結(jié)果導(dǎo)致服務(wù)癱瘓,前端請(qǐng)求一直pending

2而晒、每次重啟服務(wù)蝇狼,臨時(shí)解決,發(fā)現(xiàn)不一會(huì)又出現(xiàn)xxxx too many open flle錯(cuò)誤

3倡怎、索性迅耘,將ulimit -n 顯示的值 從1024 改成了 2w+,還是不行监署,運(yùn)行一段時(shí)間又報(bào)錯(cuò)

4颤专、什么情況,抓狂中钠乏,只能lsof查看一下血公,到底是哪些進(jìn)程打開的file(linux一切皆文件)比較多,其實(shí)file就是一個(gè)tcp連接(socket)

5缓熟、結(jié)果發(fā)現(xiàn)累魔,內(nèi)網(wǎng)環(huán)境linux上沒安裝lsof,臥槽够滑,那就安裝唄垦写,外網(wǎng)下了一個(gè)二進(jìn)制包,準(zhǔn)備編譯彰触,結(jié)果make時(shí)提示我需要gcc

6梯投、那就安裝gcc唄,外網(wǎng)準(zhǔn)備相關(guān)依賴包况毅,內(nèi)網(wǎng)安裝分蓖,歐克了,lsof可以用了

7尔许、利用lsof -n | awk '{print $2}' | sort | uniq -c | sort -nr | more查看了排在前面的幾個(gè)進(jìn)程么鹤,利用jps比對(duì)了一下,果不其然味廊,指向的就是tomcat蒸甜,但是額外發(fā)現(xiàn)有好多個(gè)tomcat進(jìn)程實(shí)例(重復(fù)的,可能之前tomcat關(guān)閉時(shí)余佛,沒政正常shutdown)柠新,于是用kill命令手動(dòng)全部干掉了

8、重啟tomcat辉巡,保證只有一個(gè)jps進(jìn)程恨憎,跟了下,程序運(yùn)行期間郊楣,files數(shù)一直在增長(zhǎng)憔恳,于是定位就是這個(gè)服務(wù)本身的問題,實(shí)際上就是代碼寫的有問題痢甘,有資源用完了未釋放喇嘱,造成tcp連接一直掛著,占用著linux的文件句柄資源

9塞栅、利用 lsof | grep pid命令者铜,查看了進(jìn)程的連接情況,結(jié)果發(fā)現(xiàn)大量的狀態(tài)為Established的tcp連接放椰,他們清一色的指向mongodb

10作烟、那么問題就好辦了,先在mongodb中查詢當(dāng)前連接的數(shù):db.serverStatus().connections;發(fā)現(xiàn)current的值在持續(xù)++砾医,肯定就不對(duì)勁了

11拿撩、debug項(xiàng)目代碼,定位問題在一些數(shù)據(jù)入庫的時(shí)候異常了如蚜,結(jié)果定時(shí)器頻繁重執(zhí)行压恒,而入庫分兩步影暴,一個(gè)是入mongodb,一個(gè)入postgresql探赫,前者入的時(shí)候型宙,代碼中忘關(guān)client連接了

12、將11步定位的問題代碼處伦吠,加了連接close()的方法

13妆兑、再重新打包服務(wù),發(fā)布毛仪,觀察搁嗓,問題不在出現(xiàn)!O溲ァO俟洹!解決

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末刨晴,一起剝皮案震驚了整個(gè)濱河市屉来,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌狈癞,老刑警劉巖茄靠,帶你破解...
    沈念sama閱讀 211,290評(píng)論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異蝶桶,居然都是意外死亡慨绳,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門真竖,熙熙樓的掌柜王于貴愁眉苦臉地迎上來脐雪,“玉大人,你說我怎么就攤上這事恢共≌角铮” “怎么了?”我有些...
    開封第一講書人閱讀 156,872評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵讨韭,是天一觀的道長(zhǎng)脂信。 經(jīng)常有香客問我,道長(zhǎng)透硝,這世上最難降的妖魔是什么狰闪? 我笑而不...
    開封第一講書人閱讀 56,415評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮濒生,結(jié)果婚禮上埋泵,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好丽声,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,453評(píng)論 6 385
  • 文/花漫 我一把揭開白布礁蔗。 她就那樣靜靜地躺著,像睡著了一般雁社。 火紅的嫁衣襯著肌膚如雪瘦麸。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,784評(píng)論 1 290
  • 那天歧胁,我揣著相機(jī)與錄音,去河邊找鬼厉碟。 笑死喊巍,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的箍鼓。 我是一名探鬼主播崭参,決...
    沈念sama閱讀 38,927評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼款咖!你這毒婦竟也來了何暮?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,691評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤铐殃,失蹤者是張志新(化名)和其女友劉穎海洼,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體富腊,經(jīng)...
    沈念sama閱讀 44,137評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡坏逢,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,472評(píng)論 2 326
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了赘被。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片是整。...
    茶點(diǎn)故事閱讀 38,622評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖民假,靈堂內(nèi)的尸體忽然破棺而出浮入,到底是詐尸還是另有隱情,我是刑警寧澤羊异,帶...
    沈念sama閱讀 34,289評(píng)論 4 329
  • 正文 年R本政府宣布事秀,位于F島的核電站,受9級(jí)特大地震影響球化,放射性物質(zhì)發(fā)生泄漏秽晚。R本人自食惡果不足惜筒愚,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,887評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望巢掺。 院中可真熱鬧句伶,春花似錦、人聲如沸考余。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽疫蔓。三九已至身冬,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間酥筝,已是汗流浹背滚躯。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評(píng)論 1 265
  • 我被黑心中介騙來泰國(guó)打工嘿歌, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留掸掏,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,316評(píng)論 2 360
  • 正文 我出身青樓宙帝,卻偏偏與公主長(zhǎng)得像丧凤,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子茄唐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,490評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容