在服務器硬件資源額定有限的情況下拗馒,最大的壓榨服務器的性能谤狡,提高服務器的并發(fā)處理能力,是很多運維技術人員思考的問題蝠猬。要提高Linux系統(tǒng)下的負載能力,可以使用nginx原生并發(fā)處理能力就很強的web服務器衡楞,如果使用Apache的可以啟用其Worker模式吱雏,來提高其并發(fā)處理能力。除此之外瘾境,在考慮節(jié)省成本的情況下歧杏,可以修改Linux的內核相關TCP參數,來最大的提高服務器性能迷守。當然犬绒,最基礎的提高負載問題,還是升級服務器硬件了兑凿,這是最根本的凯力。
Linux系統(tǒng)下,TCP連接斷開后礼华,會以TIME_WAIT狀態(tài)保留一定的時間咐鹤,然后才會釋放端口。當并發(fā)請求過多的時候圣絮,就會產生大量的TIME_WAIT狀態(tài)的連接祈惶,無法及時斷開的話,會占用大量的端口資源和服務器資源。這個時候我們可以優(yōu)化TCP的內核參數捧请,來及時將TIME_WAIT狀態(tài)的端口清理掉凡涩。
本文介紹的方法只對擁有大量TIME_WAIT狀態(tài)的連接導致系統(tǒng)資源消耗有效,如果不是這種情況下疹蛉,效果可能不明顯活箕。可以使用netstat命令去查TIME_WAIT狀態(tài)的連接狀態(tài)可款,輸入下面的組合命令育韩,查看當前TCP連接的狀態(tài)和對應的連接數量:
#netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
這個命令會輸出類似下面的結果:
LAST_ACK 16 SYN_RECV 348 ESTABLISHED 70 FIN_WAIT1 229 FIN_WAIT2 30 CLOSING 33 TIME_WAIT 18098
我們只用關心TIME_WAIT的個數,在這里可以看到筑舅,有18000多個TIME_WAIT座慰,這樣就占用了18000多個端口。要知道端口的數量只有65535個翠拣,占用一個少一個,會嚴重的影響到后繼的新連接游盲。這種情況下误墓,我們就有必要調整下Linux的TCP內核參數,讓系統(tǒng)更快的釋放TIME_WAIT連接益缎。
用vim打開配置文件:#vim /etc/sysctl.conf
在這個文件中谜慌,加入下面的幾行內容:net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
輸入下面的命令,讓內核參數生效:#sysctl -p
簡單的說明上面的參數的含義:
net.ipv4.tcp_syncookies = 1
表示開啟SYN Cookies莺奔。當出現SYN等待隊列溢出時欣范,啟用cookies來處理,可防范少量SYN攻擊令哟,默認為0恼琼,表示關閉;
net.ipv4.tcp_tw_reuse = 1
表示開啟重用屏富。允許將TIME-WAIT sockets重新用于新的TCP連接晴竞,默認為0,表示關閉狠半;
net.ipv4.tcp_tw_recycle = 1
表示開啟TCP連接中TIME-WAIT sockets的快速回收噩死,默認為0,表示關閉神年;
net.ipv4.tcp_fin_timeout
修改系統(tǒng)默認的 TIMEOUT 時間已维。
在經過這樣的調整之后,除了會進一步提升服務器的負載能力之外已日,還能夠防御小流量程度的DoS垛耳、CC和SYN攻擊。
此外,如果你的連接數本身就很多艾扮,我們可以再優(yōu)化一下TCP的可使用端口范圍既琴,進一步提升服務器的并發(fā)能力。依然是往上面的參數文件中泡嘴,加入下面這些配置:
net.ipv4.tcp_keepalive_time = 1200 net.ipv4.ip_local_port_range = 10000 65000 net.ipv4.tcp_max_syn_backlog = 8192 net.ipv4.tcp_max_tw_buckets = 5000
這幾個參數甫恩,建議只在流量非常大的服務器上開啟,會有顯著的效果酌予。一般的流量小的服務器上磺箕,沒有必要去設置這幾個參數。
net.ipv4.tcp_keepalive_time = 1200
表示當keepalive起用的時候抛虫,TCP發(fā)送keepalive消息的頻度松靡。缺省是2小時,改為20分鐘建椰。
net.ipv4.ip_local_port_range = 10000 65000
表示用于向外連接的端口范圍雕欺。缺省情況下很小:32768到61000棉姐,改為10000到65000屠列。(注意:這里不要將最低值設的太低,否則可能會占用掉正常的端口I【亍)
net.ipv4.tcp_max_syn_backlog = 8192
表示SYN隊列的長度笛洛,默認為1024,加大隊列長度為8192乃坤,可以容納更多等待連接的網絡連接數苛让。
net.ipv4.tcp_max_tw_buckets = 6000
表示系統(tǒng)同時保持TIME_WAIT的最大數量,如果超過這個數字湿诊,TIME_WAIT將立刻被清除并打印警告信息狱杰。默 認為180000,改為6000枫吧。對于Apache浦旱、Nginx等服務器,上幾行的參數可以很好地減少TIME_WAIT套接字數量九杂,但是對于 Squid颁湖,效果卻不大。此項參數可以控制TIME_WAIT的最大數量例隆,避免Squid服務器被大量的TIME_WAIT拖死甥捺。
內核其他TCP參數說明:
net.ipv4.tcp_max_syn_backlog = 65536
記錄的那些尚未收到客戶端確認信息的連接請求的最大值。對于有128M內存的系統(tǒng)而言镀层,缺省值是1024镰禾,小內存的系統(tǒng)則是128皿曲。
net.core.netdev_max_backlog = 32768
每個網絡接口接收數據包的速率比內核處理這些包的速率快時,允許送到隊列的數據包的最大數目吴侦。
net.core.somaxconn = 32768
web應用中l(wèi)isten函數的backlog默認會給我們內核參數的net.core.somaxconn限制到128屋休,而nginx定義的NGX_LISTEN_BACKLOG默認為511,所以有必要調整這個值备韧。
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216 #最大socket讀buffer,可參考的優(yōu)化值:873200
net.core.wmem_max = 16777216 #最大socket寫buffer,可參考的優(yōu)化值:873200
net.ipv4.tcp_timestsmps = 0
時間戳可以避免序列號的卷繞劫樟。一個1Gbps的鏈路肯定會遇到以前用過的序列號。時間戳能夠讓內核接受這種“異持茫”的數據包叠艳。這里需要將其關掉。
net.ipv4.tcp_synack_retries = 2
為了打開對端的連接易阳,內核需要發(fā)送一個SYN并附帶一個回應前面一個SYN的ACK附较。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄連接之前發(fā)送SYN+ACK包的數量潦俺。
net.ipv4.tcp_syn_retries = 2
在內核放棄建立連接之前發(fā)送SYN包的數量拒课。
net.ipv4.tcp_tw_len = 1
net.ipv4.tcp_tw_reuse = 1
開啟重用。允許將TIME-WAIT sockets重新用于新的TCP連接事示。
net.ipv4.tcp_wmem = 8192 436600 873200
TCP寫buffer,可參考的優(yōu)化值: 8192 436600 873200
net.ipv4.tcp_rmem = 32768 436600 873200
TCP讀buffer,可參考的優(yōu)化值: 32768 436600 873200
net.ipv4.tcp_mem = 94500000 91500000 92700000
同樣有3個值,意思是:
net.ipv4.tcp_mem[0]:低于此值捕发,TCP沒有內存壓力。
net.ipv4.tcp_mem[1]:在此值下很魂,進入內存壓力階段。
net.ipv4.tcp_mem[2]:高于此值檐涝,TCP拒絕分配socket遏匆。
上述內存單位是頁,而不是字節(jié)谁榜》福可參考的優(yōu)化值是:786432 1048576 1572864
net.ipv4.tcp_max_orphans = 3276800
系統(tǒng)中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。
如果超過這個數字窃植,連接將即刻被復位并打印出警告信息帝蒿。
這個限制僅僅是為了防止簡單的DoS攻擊,不能過分依靠它或者人為地減小這個值巷怜,
更應該增加這個值(如果增加了內存之后)葛超。
net.ipv4.tcp_fin_timeout = 30
如果套接字由本端要求關閉,這個參數決定了它保持在FIN-WAIT-2狀態(tài)的時間延塑。對端可以出錯并永遠不關閉連接绣张,甚至意外當機。缺省值是60秒关带。2.2 內核的通常值是180秒侥涵,你可以按這個設置,但要記住的是,即使你的機器是一個輕載的WEB服務器芜飘,也有因為大量的死套接字而內存溢出的風險务豺,FIN- WAIT-2的危險性比FIN-WAIT-1要小,因為它最多只能吃掉1.5K內存嗦明,但是它們的生存期長些笼沥。
經過這樣的優(yōu)化配置之后,你的服務器的TCP并發(fā)處理能力會顯著提高招狸。以上配置僅供參考敬拓,用于生產環(huán)境請根據自己的實際情況。