Linux 下的資源限制

前言

在我們寫程序的時候往往都沒有注意到一些系統(tǒng)資源的臨界值,然而這些臨界值在有的時候會把我們害的很慘唐础,比如一個忘掉關(guān)閉的文件描述符箱歧,比如malloc竟然會返回錯誤矾飞,又或者是爆棧,我們該如何解決或者說預(yù)防這些問題呢呀邢?

以下實(shí)驗(yàn)僅在本機(jī)的系統(tǒng)環(huán)境下生效:

用戶層面資源限制

ulimit 命令可以查看用戶層面的系統(tǒng)資源限制洒沦。這是在 /etc/security/limits.conf 的描述:

該文件為通過PAM登錄的用戶設(shè)置資源限制。

它不會影響系統(tǒng)服務(wù)的資源限制价淌。

還要注意 /etc/security/limits.d 目錄中的配置文件申眼,以字母順序閱讀的內(nèi)容,請覆蓋此設(shè)置域相同或更具體的情況下使用文件蝉衣。

例如括尸,這意味著在此處設(shè)置通配符域的限制可以使用配置文件中的通配符設(shè)置覆蓋子目錄,但此處的用戶特定設(shè)置只能被覆蓋在子目錄中具有特定于用戶的設(shè)置病毡。

所以 ulimit 的確是觀察用戶層面的資源限制濒翻。

我們可以通過 ulimit -a 查看我們所有的資源上限:

只說其中我們比較關(guān)注的那些:

-s?棧大小:8MB

-u?進(jìn)程上限:30000多

-n?文件描述符上限:1024

同時你可以用ulimit -Ha或ulimit -Sa查看硬限制和軟限制,硬限制是指對資源節(jié)點(diǎn)和數(shù)據(jù)塊的絕對限制啦膜,由 root 用戶設(shè)置硬限制肴焊。雖然其他用戶可以降低硬限制,但只有 root 用戶可以增加硬限制功戚。至于軟限制娶眷,網(wǎng)上資料也沒有說什么,大概就是非root用戶不能超過軟限制啸臀,但是非root用戶可以做的是將其軟限制增加到其硬限制届宠。

我們的服務(wù)器程序可能有打開超過1024個文件描述符,有沒有辦法修改這些資源的上限呢乘粒?

E.g. ulimit -n 1024可以修改系統(tǒng)對文件描述符的限制豌注,不過是臨時當(dāng)前的shell生效的,如果你使用which ulimit你會發(fā)現(xiàn)ulimit是一個shell built-in command的腳本。

我們應(yīng)該修改?/etc/security/limits.conf 去讓我們的修改永久生效灯萍。(需要重新啟動,可能有直接加載配置的方法轧铁,暫時不知道)

實(shí)驗(yàn)1. 修改文件描述符上限

在/etc/security/limits.conf中添加以下片段:

重啟后,然后查看一下資源是否真的被修改了:

說明修改成功旦棉。那么現(xiàn)在我們測試下我們的程序能否打開這么多個文件描述符齿风?做個小測試,下面就是打開10240個臨時文件绑洛,這里我們期待錯誤 EFILE:

接著我們看一下結(jié)果:

在修改之前是ulimit的默認(rèn)值是1024,然后測試出的最大打開文件描述符的數(shù)量是1001,現(xiàn)在是修改為10240后可以打開10217個文件描述符救斑,實(shí)驗(yàn)成功。然后我們能打開的總數(shù)為什么不是剛好10240呢真屯?這個問題是因?yàn)槌绦蜃陨泶蜷_了一些文件或是加載了一些動態(tài)庫,stdin/stdout/stderr,以及 /etc/ld.so.cache脸候,/usr/lib/libm.so.6,/usr/lib/libstdc++.so.6...

實(shí)驗(yàn)2. 修改棧空間上限

同樣還是在/etc/security/limits.conf添加這樣兩句:

然后在c程序中測試棧幀的上限:

程序正常运沦。將棧調(diào)到臨界值:

程序發(fā)生段錯誤泵额。

但這里也只能保守的說:調(diào)整以后的一個進(jìn)程的棧空間大概在 8192000B 這附近携添。

系統(tǒng)層面資源限制

單個進(jìn)程打開文件句柄數(shù)上限 最大文件描述符數(shù) 10億梯刚。

系統(tǒng)分配的pid上限是400多萬。

file-max是在內(nèi)核級別強(qiáng)制執(zhí)行的最大文件描述符(FD)薪寓,上限600萬亡资。

已分配的文件文件描述符數(shù),已分配但未使用的文件描述符數(shù)以及最大文件描述符數(shù)(不可調(diào))向叉。

系統(tǒng)全局的總線程數(shù)限制為6萬锥腻。

單個程序所能使用內(nèi)存映射空間的數(shù)量為6萬。

可以創(chuàng)建的線程的總數(shù)和這些有關(guān):

一個進(jìn)程的資源限制

redis中文件描述符上限的調(diào)整

你覺得資源限制和你沒有關(guān)系母谎?在你打開 redis-server 的時候瘦黑,難道就沒有注意到這樣的一段:

Increased maximum number of open files to 10032 (it was originally set to 1024).

其含義就是將文件描述符從默認(rèn)的上限調(diào)整到10032,為了適應(yīng)更多的網(wǎng)絡(luò)連接奇唤。

其源碼中也不過是調(diào)用了api:

setrlimit(RLIMIT_NOFILE,&limit)

去進(jìn)行了資源上限的臨時調(diào)整幸斥,此處不細(xì)講。

prlimit

最后介紹另外一個類似ulimit的命令prlimit:

結(jié)語

linux的資源限制不能說很奇妙吧咬扇,但確實(shí)值得做linux服務(wù)端編程的程序員們需要注意甲葬,同時我們可以通過在 /etc/security/limits.conf 去修改資源的上限。忽然想到上次問學(xué)長:為什么linux下需要對這些資源進(jìn)行限制懈贺?都調(diào)整為ulimited不是很好么经窖?

可以說我們的linux機(jī)器之所以限制這些資源的上限,是希望我們能夠充分利用它梭灿,把它的性能發(fā)揮到極致画侣,而不是讓CPU或者文件等資源在那里閑置著,浪費(fèi)計(jì)算機(jī)的生命堡妒。


歡迎關(guān)注公眾號?Linux碼農(nóng)配乱,獲取更多干貨

推薦閱讀:

Linux 命令神器 lsof

60秒內(nèi)對 Linux 進(jìn)行性能診斷

你需要了解的55個網(wǎng)絡(luò)概念

memcache 多線程模型

Linux GDB的實(shí)現(xiàn)原理

進(jìn)程間通信(IPC) 系列 | mmap

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市皮迟,隨后出現(xiàn)的幾起案子搬泥,更是在濱河造成了極大的恐慌,老刑警劉巖万栅,帶你破解...
    沈念sama閱讀 211,194評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件佑钾,死亡現(xiàn)場離奇詭異,居然都是意外死亡烦粒,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評論 2 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來扰她,“玉大人兽掰,你說我怎么就攤上這事⊥揭郏” “怎么了孽尽?”我有些...
    開封第一講書人閱讀 156,780評論 0 346
  • 文/不壞的土叔 我叫張陵,是天一觀的道長忧勿。 經(jīng)常有香客問我杉女,道長,這世上最難降的妖魔是什么鸳吸? 我笑而不...
    開封第一講書人閱讀 56,388評論 1 283
  • 正文 為了忘掉前任熏挎,我火速辦了婚禮,結(jié)果婚禮上晌砾,老公的妹妹穿的比我還像新娘坎拐。我一直安慰自己,他們只是感情好养匈,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,430評論 5 384
  • 文/花漫 我一把揭開白布哼勇。 她就那樣靜靜地躺著,像睡著了一般呕乎。 火紅的嫁衣襯著肌膚如雪积担。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,764評論 1 290
  • 那天猬仁,我揣著相機(jī)與錄音磅轻,去河邊找鬼。 笑死逐虚,一個胖子當(dāng)著我的面吹牛聋溜,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播撮躁,決...
    沈念sama閱讀 38,907評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼嗤军,長吁一口氣:“原來是場噩夢啊……” “哼老客!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起尉间,我...
    開封第一講書人閱讀 37,679評論 0 266
  • 序言:老撾萬榮一對情侶失蹤媳禁,失蹤者是張志新(化名)和其女友劉穎侦啸,沒想到半個月后拧烦,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體齐佳,經(jīng)...
    沈念sama閱讀 44,122評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡硅蹦,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,459評論 2 325
  • 正文 我和宋清朗相戀三年鲤拿,在試婚紗的時候發(fā)現(xiàn)自己被綠了生音。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片家淤。...
    茶點(diǎn)故事閱讀 38,605評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡督怜,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出号杠,到底是詐尸還是另有隱情蚪腋,我是刑警寧澤,帶...
    沈念sama閱讀 34,270評論 4 329
  • 正文 年R本政府宣布姨蟋,位于F島的核電站屉凯,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏眼溶。R本人自食惡果不足惜悠砚,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,867評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望堂飞。 院中可真熱鬧灌旧,春花似錦、人聲如沸绰筛。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽铝噩。三九已至衡蚂,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間薄榛,已是汗流浹背讳窟。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評論 1 265
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留敞恋,地道東北人丽啡。 一個月前我還...
    沈念sama閱讀 46,297評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像硬猫,于是被迫代替她去往敵國和親补箍。 傳聞我的和親對象是個殘疾皇子改执,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,472評論 2 348

推薦閱讀更多精彩內(nèi)容