常識(shí)一:文件句柄限制
在linux下編寫(xiě)網(wǎng)絡(luò)服務(wù)器程序的朋友肯定都知道每一個(gè)tcp連接都要占一個(gè)文件描述符甲葬,一旦這個(gè)文件描述符使用完了骆捧,新的連接到來(lái)返回給我們的錯(cuò)誤是“Socket/File:Can’topen so many files”垛叨。
這時(shí)你需要明白操作系統(tǒng)對(duì)可以打開(kāi)的最大文件數(shù)的限制坏瘩。
進(jìn)程限制
執(zhí)行ulimit -n 輸出1024介牙,說(shuō)明對(duì)于一個(gè)進(jìn)程而言最多只能打開(kāi)1024個(gè)文件银受,所以你要采用此默認(rèn)配置最多也就可以并發(fā)上千個(gè)TCP連接圈膏。
臨時(shí)修改:ulimit -n1000000塔猾,但是這種臨時(shí)修改只對(duì)當(dāng)前登錄用戶目前的使用環(huán)境有效,系統(tǒng)重啟或用戶退出后就會(huì)失效稽坤。
永久修改:編輯/etc/security/limits.conf 文件丈甸, 修改后內(nèi)容為
soft nofile 1000000
hard nofile 1000000
全局限制
執(zhí)行 cat/proc/sys/fs/file-nr 輸出9344 0592026,分別為:1.已經(jīng)分配的文件句柄數(shù)尿褪,2.已經(jīng)分配但沒(méi)有使用的文件句柄數(shù)睦擂,3.最大文件句柄數(shù)。但在kernel2.6版本中第二項(xiàng)的值總為0杖玲,這并不是一個(gè)錯(cuò)誤顿仇,它實(shí)際上意味著已經(jīng)分配的文件描述符無(wú)一浪費(fèi)的都已經(jīng)被使用了 。
我們可以把這個(gè)數(shù)值改大些摆马,用 root 權(quán)限修改 /etc/sysctl.conf 文件:
? ? fs.file-max = 1000000
? ? net.ipv4.ip_conntrack_max = 1000000
? ? net.ipv4.netfilter.ip_conntrack_max = 1000000
常識(shí)二:端口號(hào)范圍限制
操作系統(tǒng)上端口號(hào)1024以下是系統(tǒng)保留的臼闻,從1024-65535是用戶使用的。由于每個(gè)TCP連接都要占一個(gè)端口號(hào)囤采,所以我們最多可以有60000多個(gè)并發(fā)連接述呐。我想有這種錯(cuò)誤思路朋友不在少數(shù)吧?(其中我過(guò)去就一直這么認(rèn)為)
我們來(lái)分析一下吧
如何標(biāo)識(shí)一個(gè)TCP連接:系統(tǒng)用一個(gè)4四元組來(lái)唯一標(biāo)識(shí)一個(gè)TCP連接:{local ip, local port,remoteip,remoteport}蕉毯。好吧乓搬,我們拿出《UNIX網(wǎng)絡(luò)編程:卷一》第四章中對(duì)accept的講解來(lái)看看概念性的東西,第二個(gè)參數(shù)cliaddr代表了客戶端的ip地址和端口號(hào)代虾。而我們作為服務(wù)端實(shí)際只使用了bind時(shí)這一個(gè)端口进肯,說(shuō)明端口號(hào)65535并不是并發(fā)量的限制。
server最大tcp連接數(shù):server通常固定在某個(gè)本地端口上監(jiān)聽(tīng)棉磨,等待client的連接請(qǐng)求坷澡。不考慮地址重用(unix的SO_REUSEADDR選項(xiàng))的情況下蛮瞄,即使server端有多個(gè)ip磕蛇,本地監(jiān)聽(tīng)端口也是獨(dú)占的,因此server端tcp連接4元組中只有remoteip(也就是client ip)和remoteport(客戶端port)是可變的膛檀,因此最大tcp連接為客戶端ip數(shù)×客戶端port數(shù)馅扣,對(duì)IPV4斟赚,不考慮ip地址分類等因素,最大tcp連接數(shù)約為2的32次方(ip數(shù))×2的16次方(port數(shù))差油,也就是server端單機(jī)最大tcp連接數(shù)約為2的48次方拗军。
要寫(xiě)網(wǎng)絡(luò)程序就必須用Socket,這是程序員都知道的蓄喇。而且发侵,面試的時(shí)候,我們也會(huì)問(wèn)對(duì)方會(huì)不會(huì)Socket編程妆偏?一般來(lái)說(shuō)刃鳄,很多人都會(huì)說(shuō),Socket編程基本就是listen钱骂,accept以及send叔锐,write等幾個(gè)基本的操作。是的见秽,就跟常見(jiàn)的文件操作一樣愉烙,只要寫(xiě)過(guò)就一定知道。
對(duì)于網(wǎng)絡(luò)編程解取,我們也言必稱TCP/IP步责,似乎其它網(wǎng)絡(luò)協(xié)議已經(jīng)不存在了。對(duì)于TCP/IP禀苦,我們還知道TCP和UDP蔓肯,前者可以保證數(shù)據(jù)的正確和可靠性,后者則允許數(shù)據(jù)丟失伦忠。最后省核,我們還知道,在建立連接前昆码,必須知道對(duì)方的IP地址和端口號(hào)气忠。除此,普通的程序員就不會(huì)知道太多了赋咽,很多時(shí)候這些知識(shí)已經(jīng)夠用了旧噪。最多,寫(xiě)服務(wù)程序的時(shí)候脓匿,會(huì)使用多線程來(lái)處理并發(fā)訪問(wèn)淘钟。
我們還知道如下幾個(gè)事實(shí):
一個(gè)指定的端口號(hào)不能被多個(gè)程序共用。比如陪毡,如果IIS占用了80端口米母,那么Apache就不能也用80端口了勾扭。
很多防火墻只允許特定目標(biāo)端口的數(shù)據(jù)包通過(guò)。
服務(wù)程序在listen某個(gè)端口并accept某個(gè)連接請(qǐng)求后铁瞒,會(huì)生成一個(gè)新的socket來(lái)對(duì)該請(qǐng)求進(jìn)行處理妙色。
于是,一個(gè)困惑了我很久的問(wèn)題就產(chǎn)生了慧耍。如果一個(gè)socket創(chuàng)建后并與80端口綁定后身辨,是否就意味著該socket占用了80端口呢?如果是這樣的芍碧,那么當(dāng)其accept一個(gè)請(qǐng)求后煌珊,生成的新的socket到底使用的是什么端口呢(我一直以為系統(tǒng)會(huì)默認(rèn)給其分配一個(gè)空閑的端口號(hào))?如果是一個(gè)空閑的端口泌豆,那一定不是80端口了定庵,于是以后的TCP數(shù)據(jù)包的目標(biāo)端口就不是80了–防火墻一定會(huì)組織其通過(guò)的!實(shí)際上践美,我們可以看到洗贰,防火墻并沒(méi)有阻止這樣的連接,而且這是最常見(jiàn)的連接請(qǐng)求和處理方式陨倡。我的不解就是敛滋,為什么防火墻沒(méi)有阻止這樣的連接?它是如何判定那條連接是因?yàn)閏onnet80端口而生成的兴革?是不是TCP數(shù)據(jù)包里有什么特別的標(biāo)志绎晃?或者防火墻記住了什么東西?
后來(lái)杂曲,我又仔細(xì)研讀了TCP/IP的協(xié)議棧的原理庶艾,對(duì)很多概念有了更深刻的認(rèn)識(shí)。比如擎勘,在TCP和UDP同屬于傳輸層咱揍,共同架設(shè)在IP層(網(wǎng)絡(luò)層)之上。而IP層主要負(fù)責(zé)的是在節(jié)點(diǎn)之間(End? to?End)的數(shù)據(jù)包傳送棚饵,這里的節(jié)點(diǎn)是一臺(tái)網(wǎng)絡(luò)設(shè)備煤裙,比如計(jì)算機(jī)。因?yàn)镮P層只負(fù)責(zé)把數(shù)據(jù)送到節(jié)點(diǎn)硼砰,而不能區(qū)分上面的不同應(yīng)用,所以TCP和UDP協(xié)議在其基礎(chǔ)上加入了端口的信息欣硼,端口于是標(biāo)識(shí)的是一個(gè)節(jié)點(diǎn)上的一個(gè)應(yīng)用题翰。除了增加端口信息,UPD協(xié)議基本就沒(méi)有對(duì)IP層的數(shù)據(jù)進(jìn)行任何的處理了。而TCP協(xié)議還加入了更加復(fù)雜的傳輸控制豹障,比如滑動(dòng)的數(shù)據(jù)發(fā)送窗口(Slice?Window)冯事,以及接收確認(rèn)和重發(fā)機(jī)制,以達(dá)到數(shù)據(jù)的可靠傳送血公。不管應(yīng)用層看到的是怎樣一個(gè)穩(wěn)定的TCP數(shù)據(jù)流桅咆,下面?zhèn)魉偷亩际且粋€(gè)個(gè)的IP數(shù)據(jù)包,需要由TCP協(xié)議來(lái)進(jìn)行數(shù)據(jù)重組坞笙。
所以,我有理由懷疑荚虚,防火墻并沒(méi)有足夠的信息判斷TCP數(shù)據(jù)包的更多信息薛夜,除了IP地址和端口號(hào)。而且版述,我們也看到梯澜,所謂的端口,是為了區(qū)分不同的應(yīng)用的渴析,以在不同的IP包來(lái)到的時(shí)候能夠正確轉(zhuǎn)發(fā)晚伙。
TCP/IP只是一個(gè)協(xié)議棧,就像操作系統(tǒng)的運(yùn)行機(jī)制一樣俭茧,必須要具體實(shí)現(xiàn)咆疗,同時(shí)還要提供對(duì)外的操作接口。就像操作系統(tǒng)會(huì)提供標(biāo)準(zhǔn)的編程接口母债,比如Win32編程接口一樣午磁,TCP/IP也必須對(duì)外提供編程接口,這就是Socket編程接口–原來(lái)是這么回事罢泵恰迅皇!
在Socket編程接口里,設(shè)計(jì)者提出了一個(gè)很重要的概念衙熔,那就是socket登颓。這個(gè)socket跟文件句柄很相似,實(shí)際上在BSD系統(tǒng)里就是跟文件句柄一樣存放在一樣的進(jìn)程句柄表里红氯。這個(gè)socket其實(shí)是一個(gè)序號(hào)框咙,表示其在句柄表中的位置。這一點(diǎn)脖隶,我們已經(jīng)見(jiàn)過(guò)很多了扁耐,比如文件句柄,窗口句柄等等产阱。這些句柄婉称,其實(shí)是代表了系統(tǒng)中的某些特定的對(duì)象,用于在各種函數(shù)中作為參數(shù)傳入,以對(duì)特定的對(duì)象進(jìn)行操作–這其實(shí)是C語(yǔ)言的問(wèn)題王暗,在C++語(yǔ)言里悔据,這個(gè)句柄其實(shí)就是this指針,實(shí)際就是對(duì)象指針啦俗壹。
現(xiàn)在我們知道科汗,socket跟TCP/IP并沒(méi)有必然的聯(lián)系。Socket編程接口在設(shè)計(jì)的時(shí)候绷雏,就希望也能適應(yīng)其他的網(wǎng)絡(luò)協(xié)議头滔。所以,socket的出現(xiàn)只是可以更方便的使用TCP/IP協(xié)議棧而已涎显,其對(duì)TCP/IP進(jìn)行了抽象坤检,形成了幾個(gè)最基本的函數(shù)接口。比如create期吓,listen早歇,accept,connect讨勤,read和write等等箭跳。
現(xiàn)在我們明白,如果一個(gè)程序創(chuàng)建了一個(gè)socket潭千,并讓其監(jiān)聽(tīng)80端口谱姓,其實(shí)是向TCP/IP協(xié)議棧聲明了其對(duì)80端口的占有。以后脊岳,所有目標(biāo)是80端口的TCP數(shù)據(jù)包都會(huì)轉(zhuǎn)發(fā)給該程序(這里的程序逝段,因?yàn)槭褂玫氖荢ocket編程接口,所以首先由Socket層來(lái)處理)割捅。所謂accept函數(shù)奶躯,其實(shí)抽象的是TCP的連接建立過(guò)程。accept函數(shù)返回的新socket其實(shí)指代的是本次創(chuàng)建的連接亿驾,而一個(gè)連接是包括兩部分信息的嘹黔,一個(gè)是源IP和源端口,另一個(gè)是宿IP和宿端口莫瞬。所以儡蔓,accept可以產(chǎn)生多個(gè)不同的socket,而這些socket里包含的宿IP和宿端口是不變的疼邀,變化的只是源IP和源端口喂江。這樣的話,這些socket宿端口就可以都是80旁振,而Socket層還是能根據(jù)源/宿對(duì)來(lái)準(zhǔn)確地分辨出IP包和socket的歸屬關(guān)系获询,從而完成對(duì)TCP/IP協(xié)議的操作封裝涨岁!而同時(shí),放火墻的對(duì)IP包的處理規(guī)則也是清晰明了吉嚣,不存在前面設(shè)想的種種復(fù)雜的情形梢薪。 明白socket只是對(duì)TCP/IP協(xié)議棧操作的抽象,而不是簡(jiǎn)單的映射關(guān)系尝哆,這很重要