文章出自:http://blog.csdn.net/cumtwyc/article/details/48273085
在我們平時的開發(fā)中用到的最多的是HTTP協(xié)議猖败,而HTTP協(xié)議本身是一種應(yīng)用層協(xié)議立轧,屬于文本協(xié)議;并且這種協(xié)議也基本上滿足了應(yīng)用的大部分需求。HTTP協(xié)議當(dāng)初的設(shè)計(jì)并沒有想到它應(yīng)用的是如此的廣泛,所以設(shè)計(jì)的時候考慮的比較簡單實(shí)用,也許也就是這種簡單實(shí)用才這么廣泛玷氏;但如今,HTTP協(xié)議似乎并不能滿足所有的需求腋舌,特別是當(dāng)今的web2.0時代盏触,瀏覽器應(yīng)用橫行的年代,也越來越多需要長連接的應(yīng)用块饺,所以在HTML5以及Flash等客戶端應(yīng)用中都加入了長連接的定義赞辩,并且我也相信在未來的互聯(lián)網(wǎng)開發(fā)中會出現(xiàn)很多的長連接應(yīng)用。在我們公司也曾經(jīng)自己開發(fā)過長連接的應(yīng)用授艰,前端是基于flash的辨嗽,后端是基于Java的實(shí)現(xiàn),自己基于TCP/IP協(xié)議制定了一套穩(wěn)定淮腾,安全糟需,可靠的應(yīng)用層協(xié)議,至今一直在線上運(yùn)行谷朝,情況也比較穩(wěn)定洲押;在此,我想基于我的知識和對于socket的理解在這里做一次分享圆凰,也許不是很深入和透徹杈帐,但絕對很基礎(chǔ)。
其實(shí)如果不理解套接字的具體實(shí)現(xiàn)所關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)和底層協(xié)議的工作細(xì)節(jié)送朱,就很難抓住網(wǎng)絡(luò)編程的精妙之處娘荡,對于TCP套接字(即Socket的實(shí)例)來說更是如此干旁。這里我就對創(chuàng)建和使用Socket和ServerSocket實(shí)例的底層細(xì)節(jié)進(jìn)行介紹驶沼。請注意,這些內(nèi)容僅僅涵蓋了一些普通的事件實(shí)例争群,略去了很多細(xì)節(jié)回怜。盡管如此,我相信即使是這樣的基礎(chǔ)的理解也是有用的。如果希望了解更詳盡的內(nèi)容玉雾,可以參考TCP規(guī)范翔试,或關(guān)于該方面的其他著作(例如TCP/IP詳解)。
圖1是一個Socket實(shí)例所關(guān)聯(lián)的一些信息的簡化視圖复旬。JVM或其運(yùn)行的平臺(即垦缅,主機(jī)操作系統(tǒng)中的“套接字層”)為這些類的支持提供了底層實(shí)現(xiàn)。Java對象上的操作則轉(zhuǎn)換成了這種底層抽象上的操作驹碍。在這里壁涎,“Socket”指的是圖1中的類之一,而“套接字(socket)”指的是底層抽象志秃,這種抽象是有操作系統(tǒng)提供或由JVM自己實(shí)現(xiàn)(例如在嵌入式系統(tǒng)中)怔球。有一點(diǎn)需要注意,即運(yùn)行在統(tǒng)一主機(jī)上的其他程序可能也會通過底層套接字抽象來使用網(wǎng)絡(luò)浮还,因此會與Java Socket實(shí)例競爭系統(tǒng)資源竟坛,如端口等。
圖1
在此钧舌,“套接字結(jié)構(gòu)”是指底層實(shí)現(xiàn)(包括JVM和TCP/IP担汤,但通常是后者)的數(shù)據(jù)結(jié)構(gòu)集,這些數(shù)據(jù)結(jié)構(gòu)包括了特定Socket實(shí)例所關(guān)聯(lián)的信息延刘。例如漫试,套接字結(jié)構(gòu)除其他信息外還包括:
l 該套接字說關(guān)聯(lián)的本地和遠(yuǎn)程互聯(lián)網(wǎng)地址和端口號。本地互聯(lián)網(wǎng)地址(圖中標(biāo)記為“Local IP”)是賦值給本地主機(jī)的碘赖;本地端口號在Socket實(shí)例創(chuàng)建時設(shè)置的驾荣。遠(yuǎn)程地址和端口號標(biāo)記了與本地套接字連接的遠(yuǎn)程套接字(如果沒有連接的話)。不久普泡,我們將對這些值確定的時間和方式做進(jìn)一步介紹播掷。
l 一個FIFO(先進(jìn)先出,F(xiàn)irst In First Out)隊(duì)列用于存放接收到的等待分配的數(shù)據(jù)撼班,以及一個用于存放等待傳輸?shù)臄?shù)據(jù)的隊(duì)列歧匈。
l 對于TCP套接字,還包括了與打開和關(guān)閉TCP握手相關(guān)的額外協(xié)議狀態(tài)信息砰嘁。圖1中件炉,狀態(tài)是“關(guān)閉”;所有套接字的起始狀態(tài)都是關(guān)閉的矮湘。
一些多用途操作系統(tǒng)為用戶提供了獲取底層數(shù)據(jù)結(jié)構(gòu)“快照”的工具斟冕,netstat是其中之一,太在UNIX(Linux)和Windows平臺上都可用缅阳。只要給定適當(dāng)?shù)倪x項(xiàng)磕蛇,netstat就能顯示和圖1的那些信息:SendQ和RecvQ中的字節(jié)數(shù),本地和遠(yuǎn)程IP地址和端口號,以及連接狀態(tài)等秀撇。netstat的命令行選項(xiàng)有多種超棺,但它輸出看起來是這樣的:
Active Internet connections(server and established)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 0.0.0.0:36045 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:53363 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN
tcp 0 0 128.133.190.219:34077 4.71.104.187:80 TIME_WAIT
tcp 0 0 128.133.190.219:43346 79.62.132.8:22 ESTABLISHED
tcp 0 0 128.133.190.219:875 128.133.190.43:2409 ESTABLISHED
tcp6 0 0 :::22 :::* LISTEN
前4行和最后一行描述了正在偵聽連接的服務(wù)器套接字。第5行代表了到一個Web服務(wù)器(80端口)的連接呵燕,該服務(wù)器已經(jīng)單方面關(guān)閉棠绘。倒數(shù)第2行是先有的TCP連接。如果系統(tǒng)支持的話再扭,你可能想要嘗試一下netstat弄唧,來檢測下上文描述的場景的連接狀態(tài)。然而要知道霍衫,這些圖中描述的狀態(tài)轉(zhuǎn)換過程轉(zhuǎn)瞬即逝候引,可能很難通過netstat提供的“快照”功能將其捕獲。
了解這些數(shù)據(jù)結(jié)構(gòu)敦跌,以及底層協(xié)議如何對其進(jìn)行影響是非常有用的澄干,因?yàn)樗鼈兛刂屏烁鞣NSocket對象行為的各個方面。例如柠傍,由于TCP提供了一種可信賴的字節(jié)流服務(wù)麸俘,任何寫入Socket的OutputStream的數(shù)據(jù)副本都必須保留,直到其在連接的另一端被成功接收惧笛。向輸出流寫數(shù)據(jù)并不意味著數(shù)據(jù)實(shí)際上已經(jīng)被發(fā)送从媚,他們只是被復(fù)制到了本地緩沖區(qū)。就算在Socket的OutputStream上進(jìn)行flush操作患整,也不能保證數(shù)據(jù)能夠立即發(fā)送到信道拜效。此外,字節(jié)流服務(wù)的自身屬性決定了其無法保留輸入流中消息的邊界信息各谚,這里的邊界信息的意思就是上一個數(shù)據(jù)包和下一個數(shù)據(jù)包之間的區(qū)別信息紧憾。這使一些協(xié)議的接收和解析過程變得復(fù)雜。另一方面昌渤,對于DatagramSocket赴穗,數(shù)據(jù)包并沒有為重傳而進(jìn)行緩存,任何時候調(diào)用send()方法返回后膀息,數(shù)據(jù)就已經(jīng)發(fā)送給了執(zhí)行傳輸任務(wù)的網(wǎng)絡(luò)子系統(tǒng)般眉。如果網(wǎng)絡(luò)子系統(tǒng)由于某種原因無法處理這些消息,該數(shù)據(jù)包將毫無提示地被丟棄(不過這種情況很少發(fā)生)潜支。
1甸赃、緩沖區(qū)和TCP
作為程序員,在使用TCP套接字時需要記住的最重要一點(diǎn)是:
不能假設(shè)在連接的一端將數(shù)據(jù)寫入輸出流和在另一端從輸入流讀取數(shù)據(jù)之間有任何一致性毁腿。
尤其是在發(fā)送端由單個輸出流的write()方法傳輸?shù)臄?shù)據(jù)辑奈,可能會通過另一端的多個輸入流的read()方法來獲取已烤;而一個read()方法可能會返回多個write()方法傳輸?shù)臄?shù)據(jù)鸠窗。
為了展示這種情況,考慮如下程序:
byte[] buf0 = new byte[1000];
byte[] buf1 = new byte[2000];
byte[] buf2 = new byte[5000];
…
Socket s = new Socket(destAddr, destPort);
OutputStream out = s.getOutputStream();
…
out.write(buf0);
…
out.write(buf1);
…
out.write(buf2);
…
s.close();
其中胯究,圓點(diǎn)代表了設(shè)置緩沖區(qū)數(shù)據(jù)的代碼稍计,但不包括對out.write()方法的調(diào)用。在本節(jié)的討論中裕循,“in”代表接收端Socket的InputStream臣嚣,“out”代表發(fā)送端Socket的OutputStream。
這個TCP連接想接收端傳輸8000字節(jié)剥哑。在連接的接收端硅则,這8000字節(jié)的分組方式取決于連接兩端out.write()方法和in.read()方法的調(diào)用時間差,以及提供給in.read()方法的緩沖區(qū)大小株婴。
我們可以認(rèn)為TCP連接上發(fā)送的所有字節(jié)序列在某一瞬間被分成了3個FIFO隊(duì)列怎虫;
l SendQ:在發(fā)送端底層實(shí)現(xiàn)中緩存的字節(jié),這些字節(jié)已經(jīng)寫入了輸出流困介,但還沒在接收端主機(jī)上成功接收大审。
l RecvQ:在接收端底層實(shí)現(xiàn)中緩存的字節(jié),等待分配到接收程序座哩,即從輸入流中讀取徒扶。
l Delivered:接收者從輸入流已經(jīng)讀取到的字節(jié)。
調(diào)用out.write()方法將向SendQ追加字節(jié)根穷。TCP協(xié)議負(fù)責(zé)將字節(jié)按順序從SendQ移動到RecvQ姜骡。有重要的一點(diǎn)需要明確,這個轉(zhuǎn)移過程無法由用戶程序控制或直接觀察到屿良,并且在塊中(chunk)發(fā)生溶浴,這些塊的大小在一定程度上獨(dú)立于傳遞給write()方法的緩沖區(qū)大小。
接收程序從Socket的InputStream讀取數(shù)據(jù)時管引,字節(jié)就從RecvQ移動到Delivered中士败,而轉(zhuǎn)移的塊的大小依賴于RecvQ中的數(shù)據(jù)量和傳遞給read()方法緩沖區(qū)大小。
圖2展示了上例中3次調(diào)用out.write()方法后褥伴,另一端調(diào)用in.read()方法前谅将,以上3個隊(duì)列的可能狀態(tài)。不同的陰影效果分別代表了上文中3次調(diào)用write()方法傳輸?shù)牟煌瑪?shù)據(jù)重慢。
圖2描述的發(fā)送端主機(jī)的netstat輸出的瞬間狀態(tài)中饥臂,會包含類似于下一行的內(nèi)容:
在接收端主機(jī),netstat會顯示:
圖2 3次調(diào)用write()方法后3個隊(duì)列的狀態(tài)
現(xiàn)在假設(shè)接收者調(diào)用read()方法時使用的緩沖區(qū)數(shù)組大小為2000字節(jié)似踱,read()調(diào)用則將把等待分配隊(duì)列(RecvQ)中的1500字節(jié)全部移動到數(shù)組中隅熙,返回值為1500稽煤。注意,這些數(shù)據(jù)包括了第一次和第二次調(diào)用write()方法時傳輸?shù)淖止?jié)囚戚。在過一段時間酵熙,但TCP連接傳完更多數(shù)據(jù)后,這三部分的狀態(tài)可能如圖3所示驰坊。
圖3 第一次調(diào)用read()方法后
如果接收者現(xiàn)在調(diào)用read()方法時使用4000字節(jié)的緩沖區(qū)數(shù)組匾二,將有很多字節(jié)從等待分配隊(duì)列(RecvQ)轉(zhuǎn)移到已分配隊(duì)列(Delivered)中。這包括第二次調(diào)用write()方法時剩下的1500字節(jié)加上第三次調(diào)用write()的前2500字節(jié)拳芙。此時隊(duì)列的狀態(tài)如圖4所示察藐。
圖4 另一次調(diào)用read()后
下次調(diào)用read()方法返回的字節(jié)數(shù),取決于緩沖區(qū)數(shù)組的大小舟扎,以及發(fā)送方套接字/TCP實(shí)現(xiàn)通過網(wǎng)絡(luò)向接收方實(shí)現(xiàn)傳輸數(shù)據(jù)的時機(jī)分飞。數(shù)據(jù)從SendQ到RecvQ緩沖區(qū)的移動過程對應(yīng)用程序協(xié)議的設(shè)計(jì)有重要的指導(dǎo)性。我們已經(jīng)遇到過需要對使用帶內(nèi)(in-band)分隔符睹限,并通過Socket來接收的消息進(jìn)行解析的情況浸须。