系統(tǒng)重啟后nginx reload不生效原因分析
這是一種比較少見瞧捌，困擾我很久的問題弥咪，雖然這個問題很簡單教寂，但是找到根本原因還是費了不少時間页慷，現(xiàn)在把分析過程分享如下憔足。
前提：需要對Linux系統(tǒng)啟動過程胁附、Nginx進程啟動過程及進程跟蹤有一定的理解酒繁。
一，Nginx reload過程分析：
經(jīng)過查看官網(wǎng)文檔及結(jié)合Nginx源碼分析控妻，大致得出reload過程進行了如下操作州袒。
1，檢查配置是否正確
相當(dāng)于nginx -t
2弓候，打開日志文件
相當(dāng)于nginx -s reopen
由于日志文件比較多郎哭，需要打開多個文件
3，重新監(jiān)聽套接字
相當(dāng)于nginx
這個步驟會初始化很多東西菇存，重點關(guān)注哈希表
4夸研，關(guān)閉舊worker進程
相當(dāng)于nginx -s quit
二，nginx進程分析
1依鸥，首先了解nginx的兩種進程
master進程亥至，root用戶打開，接收信號，管理worker進程
worker進程姐扮，nginx用戶打開絮供，工作進程，負(fù)責(zé)處理http請求
2茶敏，starce跟蹤主進程號壤靶，期間執(zhí)行nginx -s reload，發(fā)現(xiàn)卡在檢查日志文件這塊
主進程跟蹤惊搏，因為reload過程是系統(tǒng)發(fā)送HUP信號給nginx主進程
#starce -p 2298
......
open("/data/wwwlogs/access.xxx.xxx.xxx.log", O_WRONLY|O_CREAT|O_APPEND, 0644) = -1 EMFILE (Too many open files)
write(808, "2016/02/17 09:50:22 [emerg] 2298"..., 124) = 124
......
3贮乳，根據(jù)提示，查找進程的系統(tǒng)限制文件
master進程限制
# cat /proc/2398/limits
Limit ? ? ? ? ? ? ? ? ? ? Soft Limit ? ? ? ? ? Hard Limit ? ? ? ? ? Units
Max cpu time ? ? ? ? ? ? ?unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?seconds
Max file size ? ? ? ? ? ? unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max data size ? ? ? ? ? ? unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max stack size ? ? ? ? ? ?10485760 ? ? ? ? ? ? unlimited ? ? ? ? ? ?bytes
Max core file size ? ? ? ?0 ? ? ? ? ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max resident set ? ? ? ? ?unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max processes ? ? ? ? ? ? 127015 ? ? ? ? ? ? ? 127015 ? ? ? ? ? ? ? processes
Max open files ? ? ? ? ? ?1024 ? ? ? ? ? ? ? ? 4096 ? ? ? ? ? ? ? ? files
Max locked memory ? ? ? ? 65536 ? ? ? ? ? ? ? ?65536 ? ? ? ? ? ? ? ?bytes
Max address space ? ? ? ? unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max file locks ? ? ? ? ? ?unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?locks
Max pending signals ? ? ? 127015 ? ? ? ? ? ? ? 127015 ? ? ? ? ? ? ? signals
Max msgqueue size ? ? ? ? 819200 ? ? ? ? ? ? ? 819200 ? ? ? ? ? ? ? bytes
Max nice priority ? ? ? ? 0 ? ? ? ? ? ? ? ? ? ?0
Max realtime priority ? ? 0 ? ? ? ? ? ? ? ? ? ?0
Max realtime timeout ? ? ?unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?us
worker進程限制
# cat /proc/2300/limits
Limit ? ? ? ? ? ? ? ? ? ? Soft Limit ? ? ? ? ? Hard Limit ? ? ? ? ? Units
Max cpu time ? ? ? ? ? ? ?unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?seconds
Max file size ? ? ? ? ? ? unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max data size ? ? ? ? ? ? unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max stack size ? ? ? ? ? ?10485760 ? ? ? ? ? ? unlimited ? ? ? ? ? ?bytes
Max core file size ? ? ? ?0 ? ? ? ? ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max resident set ? ? ? ? ?unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max processes ? ? ? ? ? ? 127015 ? ? ? ? ? ? ? 127015 ? ? ? ? ? ? ? processes
Max open files ? ? ? ? ? ?409600 ? ? ? ? ? ? ? 409600 ? ? ? ? ? ? ? files
Max locked memory ? ? ? ? 65536 ? ? ? ? ? ? ? ?65536 ? ? ? ? ? ? ? ?bytes
Max address space ? ? ? ? unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?bytes
Max file locks ? ? ? ? ? ?unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?locks
Max pending signals ? ? ? 127015 ? ? ? ? ? ? ? 127015 ? ? ? ? ? ? ? signals
Max msgqueue size ? ? ? ? 819200 ? ? ? ? ? ? ? 819200 ? ? ? ? ? ? ? bytes
Max nice priority ? ? ? ? 0 ? ? ? ? ? ? ? ? ? ?0
Max realtime priority ? ? 0 ? ? ? ? ? ? ? ? ? ?0
Max realtime timeout ? ? ?unlimited ? ? ? ? ? ?unlimited ? ? ? ? ? ?us
補充錯誤日志：
2016/02/17 10:48:05 [notice] 47386#0: signal process started
2016/02/17 10:48:05 [emerg] 2298#0: open() "/data/wwwlogs/access_xxx.xxx.xxx.log" failed (24: Too many open files)
三恬惯，解決方案
1塘揣，修改限制
一般從以下3方面調(diào)優(yōu)：
第一：nginx.conf參數(shù)規(guī)劃與設(shè)置
worker_rlimit_nofile ：限制單個工作進程打開的最大文件數(shù)：
線上配置沒有問題
worker_rlimit_nofile 409600;
第二：系統(tǒng)級別的檢查與設(shè)置
就是 /etc/security/limits.conf的配置與修改，請參考Linux系統(tǒng)資源限制匯總
線上配置沒有問題
* ? ? ? ? ? ? ? ?soft ? nofile ? ? ? ? ?655350
* ? ? ? ? ? ? ? ?hard ? nofile ? ? ? ? ?655350
第三：內(nèi)核級別的檢查與設(shè)置：
fs.file-max值的大小設(shè)置：
線上配置比較大
fs.file-max = 6553600
注意：file-max的默認(rèn)值大概是系統(tǒng)內(nèi)存的10%（系統(tǒng)內(nèi)存以kb計算）
2宿崭，驗證生效
結(jié)果發(fā)現(xiàn)以上配置前期都有配置亲铡，但是重啟服務(wù)器發(fā)現(xiàn)主進程的限制并沒有修改過來，但是登陸服務(wù)器后無論在終端ulimit -n 查看還是關(guān)閉nginx主進程后重啟nginx都生效了葡兑，由此推理出
問題可能出在linux系統(tǒng)啟動過程中奖蔓，也就是說nginx主進程啟動時，上面的限制配置沒有生效讹堤，后來查閱資料發(fā)現(xiàn)系統(tǒng)啟動后執(zhí)行l(wèi)ogin時才會使limits.conf配置生效吆鹤，所以需要調(diào)整順序。
根據(jù)實際情況洲守，系統(tǒng)啟動過程如下：
1疑务、讀取/etc/inittab來讀取默認(rèn)級別 假設(shè)：讀取到的默認(rèn)級別是 3
2、執(zhí)行初始化系統(tǒng)腳本 /etc/rc.d/rc.sysinit 來初始化腳本
3梗醇、然后執(zhí)行 /etc/rc.d/rc 腳本
4知允、執(zhí)行/etc/rc.d/rc.local腳本，此腳本是啟動過程中最后啟動的一個腳本叙谨。
最后會執(zhí)行 /bin/login 登錄用戶温鸽。至此系統(tǒng)啟動過程完成，login時才會執(zhí)行/etc/profile手负，～/.bash_profile和～/.bashrc等涤垫，此時的ulimit -n查到的值不是nginx進程啟動時的值。
默認(rèn)用戶登陸時會使limits.conf配置文件生效竟终，這個比nginx進程啟動晚蝠猬，要在這之前使配置生效，需要補充配置如下：
cat /etc/rc.local
ulimit -HSn 655350 （注意在nginx啟動前執(zhí)行）
/usr/local/nginx/sbin/nginx
四统捶，補充優(yōu)化
主要是相關(guān)參數(shù)調(diào)大了一些榆芦。
1敦姻，內(nèi)核優(yōu)化
net.ipv4.tcp_max_tw_buckets 修改大一些，減少內(nèi)核負(fù)擔(dān)歧杏，iptable本身對內(nèi)核性能有影響
# ss -an |awk '{print $1}'|sort |uniq -c |sort -rn
15415 ESTAB
12979 TIME-WAIT
1961 FIN-WAIT-2
501 FIN-WAIT-1
234 LAST-ACK
32 SYN-RECV
11 LISTEN
3 CLOSING
1 SYN-SENT
1 State
1 CLOSE-WAIT
線上修改配置如下：
net.ipv4.tcp_max_tw_buckets = 18000
2镰惦，nginx優(yōu)化
主要是哈希表，其他配置已經(jīng)優(yōu)化犬绒，哈希表有如下幾種
server_names_hash可以加
map_hash可以加
types_hash夠用
request header 不考慮
variables_hash 夠用
線上修改配置如下：
server_names_hash_max_size ?512000;
server_names_hash_bucket_size ?64; （默認(rèn)）
map_hash_max_size 204800;
map_hash_bucket_size ?64; （默認(rèn)）
