一遍愿、什么是socket？什么是I/O操作？

我們都知道unix(like)世界里午磁，一切皆文件，而文件是什么呢块仆？文件就是一串二進(jìn)制流而已涎显，不管socket, 還是FIFO脊岳、管道儡蔓、終端瓦戚，對我們來說彤敛，一切都是文件背稼，一切都是流。在信息交換的過程中，我們都是對這些流進(jìn)行數(shù)據(jù)的收發(fā)操作，簡稱為I/O操作(input and output)吏恭，往流中讀出數(shù)據(jù)界牡，系統(tǒng)調(diào)用read跃赚，寫入數(shù)據(jù)骇扇，系統(tǒng)調(diào)用write婿脸。不過話說回來了 焙压，計(jì)算機(jī)里有這么多的流，我怎么知道要操作哪個流呢？對，就是文件描述符梦染，即通常所說的fd，一個fd就是一個整數(shù)朴皆，所以帕识，對這個整數(shù)的操作，就是對這個文件（流）的操作遂铡。我們創(chuàng)建一個socket,通過系統(tǒng)調(diào)用會返回一個文件描述符渡冻，那么剩下對socket的操作就會轉(zhuǎn)化為對這個描述符的操作。不能不說這又是一種分層和抽象的思想忧便。

二、同步異步，阻塞非阻塞區(qū)別聯(lián)系

實(shí)際上同步與異步是針對應(yīng)用程序與內(nèi)核的交互而言的珠增。同步過程中進(jìn)程觸發(fā)IO操作并等待(也就是我們說的阻塞)或者輪詢的去查看IO操作(也就是我們說的非阻塞)是否完成超歌。 異步過程中進(jìn)程觸發(fā)IO操作以后，直接返回蒂教，做自己的事情巍举，IO交給內(nèi)核來處理，完成后內(nèi)核通知進(jìn)程IO完成凝垛。

同步和異步針對應(yīng)用程序來懊悯，關(guān)注的是程序中間的協(xié)作關(guān)系；阻塞與非阻塞更關(guān)注的是單個進(jìn)程的執(zhí)行狀態(tài)梦皮。

同步有阻塞和非阻塞之分炭分，異步?jīng)]有，它一定是非阻塞的剑肯。

阻塞捧毛、非阻塞、多路IO復(fù)用让网，都是同步IO呀忧，異步必定是非阻塞的，所以不存在異步阻塞和異步非阻塞的說法溃睹。真正的異步IO需要CPU的深度參與而账。換句話說，只有用戶線程在操作IO的時候根本不去考慮IO的執(zhí)行全部都交給CPU去完成因篇，而自己只等待一個完成信號的時候泞辐，才是真正的異步IO。所以惜犀，拉一個子線程去輪詢铛碑、去死循環(huán)，或者使用select虽界、poll汽烦、epool，都不是異步莉御。

同步：執(zhí)行一個操作之后撇吞，進(jìn)程觸發(fā)IO操作并等待(也就是我們說的阻塞)或者輪詢的去查看IO操作(也就是我們說的非阻塞)是否完成，等待結(jié)果礁叔，然后才繼續(xù)執(zhí)行后續(xù)的操作牍颈。

異步：執(zhí)行一個操作后，可以去執(zhí)行其他的操作琅关，然后等待通知再回來執(zhí)行剛才沒執(zhí)行完的操作煮岁。

阻塞：進(jìn)程給CPU傳達(dá)一個任務(wù)之后，一直等待CPU處理完成，然后才執(zhí)行后面的操作画机。

非阻塞：進(jìn)程給CPU傳達(dá)任我后冶伞，繼續(xù)處理后續(xù)的操作，隔斷時間再來詢問之前的操作是否完成步氏。這樣的過程其實(shí)也叫輪詢响禽。

二、阻塞荚醒？

什么是程序的阻塞呢芋类？想象這種情形，比如你等快遞界阁，但快遞一直沒來侯繁，你會怎么做？有兩種方式：

• 快遞沒來铺董，我可以先去睡覺巫击，然后快遞來了給我打電話叫我去取就行了。
• 快遞沒來精续，我就不停的給快遞打電話說：擦坝锰，怎么還沒來，給老子快點(diǎn)重付，直到快遞來顷级。

很顯然，你無法忍受第二種方式确垫，不僅耽擱自己的時間弓颈，也會讓快遞很想打你。
而在計(jì)算機(jī)世界删掀，這兩種情形就對應(yīng)阻塞和非阻塞忙輪詢翔冀。

• 非阻塞忙輪詢：數(shù)據(jù)沒來，進(jìn)程就不停的去檢測數(shù)據(jù)披泪，直到數(shù)據(jù)來纤子。
• 阻塞：數(shù)據(jù)沒來，啥都不做款票，直到數(shù)據(jù)來了控硼，才進(jìn)行下一步的處理。

先說說阻塞艾少，因?yàn)橐粋€線程只能處理一個套接字的I/O事件卡乾，如果想同時處理多個，可以利用非阻塞忙輪詢的方式,偽代碼如下：

while true  
{  
    for i in stream[]  
    {  
        if i has data  
        read until unavailable  
    }  
}

我們只要把所有流從頭到尾查詢一遍缚够，就可以處理多個流了幔妨，但這樣做很不好鹦赎，因?yàn)槿绻械牧鞫紱]有I/O事件，白白浪費(fèi)CPU時間片陶冷。正如有一位科學(xué)家所說钙姊，計(jì)算機(jī)所有的問題都可以增加一個中間層來解決，同樣埂伦，為了避免這里cpu的空轉(zhuǎn)，我們不讓這個線程親自去檢查流中是否有事件思恐，而是引進(jìn)了一個代理(一開始是select,后來是poll)沾谜，這個代理很牛，它可以同時觀察許多流的I/O事件胀莹，如果沒有事件基跑，代理就阻塞，線程就不會挨個挨個去輪詢了描焰，偽代碼如下：

while true  
{  
    select(streams[]) //這一步死在這里媳否，知道有一個流有I/O事件時，才往下執(zhí)行  
    for i in streams[]  
    {  
        if i has data  
        read until unavailable  
    }  
} 

但是依然有個問題荆秦，我們從select那里僅僅知道了篱竭，有I/O事件發(fā)生了，卻并不知道是哪那幾個流（可能有一個步绸，多個掺逼，甚至全部），我們只能無差別輪詢所有流瓤介，找出能讀出數(shù)據(jù)吕喘，或者寫入數(shù)據(jù)的流，對他們進(jìn)行操作刑桑。所以select具有O(n)的無差別輪詢復(fù)雜度氯质，同時處理的流越多，無差別輪詢時間就越長祠斧。

epoll可以理解為event poll闻察，不同于忙輪詢和無差別輪詢，epoll會把哪個流發(fā)生了怎樣的I/O事件通知我們梁肿。所以我們說epoll實(shí)際上是事件驅(qū)動（每個事件關(guān)聯(lián)上fd）的蜓陌，此時我們對這些流的操作都是有意義的。（復(fù)雜度降低到了O(1)）偽代碼如下：

while true  
{  
    active_stream[] = epoll_wait(epollfd)  
    for i in active_stream[]  
    {  
        read or write till  
    }  
}  

可以看到吩蔑，select和epoll最大的區(qū)別就是：select只是告訴你一定數(shù)目的流有事件了钮热，至于哪個流有事件，還得你一個一個地去輪詢烛芬，而epoll會把發(fā)生的事件告訴你隧期，通過發(fā)生的事件飒责，就自然而然定位到哪個流了。不能不說epoll跟select相比仆潮，是質(zhì)的飛躍宏蛉，我覺得這也是一種犧牲空間，換取時間的思想性置，畢竟現(xiàn)在硬件越來越便宜了拾并。

三、I/O多路復(fù)用

好了鹏浅，我們講了這么多嗅义，再來總結(jié)一下，到底什么是I/O多路復(fù)用隐砸。
先講一下I/O模型：
首先之碗，輸入操作一般包含兩個步驟：

1. 等待數(shù)據(jù)準(zhǔn)備好（waiting for data to be ready）。對于一個套接口上的操作季希，這一步驟關(guān)系到數(shù)據(jù)從網(wǎng)絡(luò)到達(dá)褪那，并將其復(fù)制到內(nèi)核的某個緩沖區(qū)。
2. 將數(shù)據(jù)從內(nèi)核緩沖區(qū)復(fù)制到進(jìn)程緩沖區(qū)（copying the data from the kernel to the process）式塌。

其次了解一下常用的3種I/O模型：

1博敬、阻塞I/O模型

最廣泛的模型是阻塞I/O模型，默認(rèn)情況下珊搀，所有套接口都是阻塞的冶忱。 進(jìn)程調(diào)用recvfrom系統(tǒng)調(diào)用，整個過程是阻塞的境析，直到數(shù)據(jù)復(fù)制到進(jìn)程緩沖區(qū)時才返回（當(dāng)然囚枪，系統(tǒng)調(diào)用被中斷也會返回）。

image

2劳淆、非阻塞I/O模型

當(dāng)我們把一個套接口設(shè)置為非阻塞時链沼，就是在告訴內(nèi)核，當(dāng)請求的I/O操作無法完成時沛鸵，不要將進(jìn)程睡眠括勺，而是返回一個錯誤。當(dāng)數(shù)據(jù)沒有準(zhǔn)備好時曲掰，內(nèi)核立即返回EWOULDBLOCK錯誤疾捍，第四次調(diào)用系統(tǒng)調(diào)用時，數(shù)據(jù)已經(jīng)存在栏妖，這時將數(shù)據(jù)復(fù)制到進(jìn)程緩沖區(qū)中乱豆。這其中有一個操作時輪詢（polling）。

image

3吊趾、I/O復(fù)用模型

此模型用到select和poll函數(shù)宛裕，這兩個函數(shù)也會使進(jìn)程阻塞瑟啃，select先阻塞，有活動套接字才返回揩尸，但是和阻塞I/O不同的是蛹屿，這兩個函數(shù)可以同時阻塞多個I/O操作，而且可以同時對多個讀操作岩榆，多個寫操作的I/O函數(shù)進(jìn)行檢測错负，直到有數(shù)據(jù)可讀或可寫（就是監(jiān)聽多個socket）。select被調(diào)用后勇边，進(jìn)程會被阻塞湿颅，內(nèi)核監(jiān)視所有select負(fù)責(zé)的socket，當(dāng)有任何一個socket的數(shù)據(jù)準(zhǔn)備好了粥诫，select就會返回套接字可讀，我們就可以調(diào)用recvfrom處理數(shù)據(jù)崭庸。
正因?yàn)樽枞鸌/O只能阻塞一個I/O操作怀浆，而I/O復(fù)用模型能夠阻塞多個I/O操作，所以才叫做多路復(fù)用怕享。

image

4执赡、信號驅(qū)動I/O模型（signal driven I/O， SIGIO）

首先我們允許套接口進(jìn)行信號驅(qū)動I/O,并安裝一個信號處理函數(shù)函筋，進(jìn)程繼續(xù)運(yùn)行并不阻塞沙合。當(dāng)數(shù)據(jù)準(zhǔn)備好時，進(jìn)程會收到一個SIGIO信號跌帐，可以在信號處理函數(shù)中調(diào)用I/O操作函數(shù)處理數(shù)據(jù)首懈。當(dāng)數(shù)據(jù)報準(zhǔn)備好讀取時，內(nèi)核就為該進(jìn)程產(chǎn)生一個SIGIO信號谨敛。我們隨后既可以在信號處理函數(shù)中調(diào)用recvfrom讀取數(shù)據(jù)報究履，并通知主循環(huán)數(shù)據(jù)已準(zhǔn)備好待處理，也可以立即通知主循環(huán)脸狸，讓它來讀取數(shù)據(jù)報最仑。無論如何處理SIGIO信號，這種模型的優(yōu)勢在于等待數(shù)據(jù)報到達(dá)(第一階段)期間炊甲，進(jìn)程可以繼續(xù)執(zhí)行泥彤，不被阻塞。免去了select的阻塞與輪詢卿啡，當(dāng)有活躍套接字時吟吝，由注冊的handler處理。

image

5牵囤、異步I/O模型(AIO, asynchronous I/O)

進(jìn)程發(fā)起read操作之后爸黄，立刻就可以開始去做其它的事滞伟。而另一方面，從kernel的角度炕贵，當(dāng)它受到一個asynchronous read之后梆奈，首先它會立刻返回，所以不會對用戶進(jìn)程產(chǎn)生任何block称开。然后亩钟，kernel會等待數(shù)據(jù)準(zhǔn)備完成，然后將數(shù)據(jù)拷貝到用戶內(nèi)存鳖轰，當(dāng)這一切都完成之后清酥，kernel會給用戶進(jìn)程發(fā)送一個signal，告訴它read操作完成了蕴侣。

這個模型工作機(jī)制是：告訴內(nèi)核啟動某個操作焰轻，并讓內(nèi)核在整個操作(包括第二階段，即將數(shù)據(jù)從內(nèi)核拷貝到進(jìn)程緩沖區(qū)中)完成后通知我們昆雀。

這種模型和前一種模型區(qū)別在于：信號驅(qū)動I/O是由內(nèi)核通知我們何時可以啟動一個I/O操作辱志，而異步I/O模型是由內(nèi)核通知我們I/O操作何時完成。

image

高性能IO模型淺析

服務(wù)器端編程經(jīng)常需要構(gòu)造高性能的IO模型狞膘，常見的IO模型有四種：

（1）同步阻塞IO（Blocking IO）：即傳統(tǒng)的IO模型揩懒。

（2）同步非阻塞IO（Non-blocking IO）：默認(rèn)創(chuàng)建的socket都是阻塞的，非阻塞IO要求socket被設(shè)置為NONBLOCK挽封。注意這里所說的NIO并非Java的NIO（New IO）庫已球。

（3）IO多路復(fù)用（IO Multiplexing）：即經(jīng)典的Reactor設(shè)計(jì)模式，Java中的Selector和Linux中的epoll都是這種模型辅愿。

（4）異步IO（Asynchronous IO）：即經(jīng)典的Proactor設(shè)計(jì)模式智亮，也稱為異步非阻塞IO。

為了方便描述渠缕，我們統(tǒng)一使用IO的讀操作作為示例鸽素。

一、同步阻塞IO

同步阻塞IO模型是最簡單的IO模型亦鳞，用戶線程在內(nèi)核進(jìn)行IO操作時被阻塞馍忽。

圖1 同步阻塞IO

如圖1所示，用戶線程通過系統(tǒng)調(diào)用read發(fā)起IO讀操作燕差，由用戶空間轉(zhuǎn)到內(nèi)核空間遭笋。內(nèi)核等到數(shù)據(jù)包到達(dá)后，然后將接收的數(shù)據(jù)拷貝到用戶空間徒探，完成read操作瓦呼。

用戶線程使用同步阻塞IO模型的偽代碼描述為：

{
  read(socket, buffer);
  process(buffer);
}

即用戶需要等待read將socket中的數(shù)據(jù)讀取到buffer后，才繼續(xù)處理接收的數(shù)據(jù)测暗。整個IO請求的過程中央串，用戶線程是被阻塞的磨澡，這導(dǎo)致用戶在發(fā)起IO請求時，不能做任何事情质和，對CPU的資源利用率不夠稳摄。

二、同步非阻塞IO

同步非阻塞IO是在同步阻塞IO的基礎(chǔ)上饲宿，將socket設(shè)置為NONBLOCK厦酬。這樣做用戶線程可以在發(fā)起IO請求后可以立即返回。

圖2 同步非阻塞IO

如圖2所示瘫想，由于socket是非阻塞的方式仗阅，因此用戶線程發(fā)起IO請求時立即返回。但并未讀取到任何數(shù)據(jù)国夜，用戶線程需要不斷地發(fā)起IO請求减噪，直到數(shù)據(jù)到達(dá)后，才真正讀取到數(shù)據(jù)车吹，繼續(xù)執(zhí)行旋廷。

用戶線程使用同步非阻塞IO模型的偽代碼描述為：

  while(read(socket, buffer) != SUCCESS)
      ;
  process(buffer);

即用戶需要不斷地調(diào)用read，嘗試讀取socket中的數(shù)據(jù)礼搁，直到讀取成功后，才繼續(xù)處理接收的數(shù)據(jù)目尖。整個IO請求的過程中馒吴，雖然用戶線程每次發(fā)起IO請求后可以立即返回，但是為了等到數(shù)據(jù)瑟曲，仍需要不斷地輪詢饮戳、重復(fù)請求，消耗了大量的CPU的資源洞拨。一般很少直接使用這種模型扯罐，而是在其他IO模型中使用非阻塞IO這一特性。

三饥侵、IO多路復(fù)用

IO多路復(fù)用模型是建立在內(nèi)核提供的多路分離函數(shù)select基礎(chǔ)之上的舟山，使用select函數(shù)可以避免同步非阻塞IO模型中輪詢等待的問題论寨。

圖3 多路分離函數(shù)select

如圖3所示，用戶首先將需要進(jìn)行IO操作的socket添加到select中秸歧，然后阻塞等待select系統(tǒng)調(diào)用返回。當(dāng)數(shù)據(jù)到達(dá)時衅澈，socket被激活键菱，select函數(shù)返回。用戶線程正式發(fā)起read請求今布，讀取數(shù)據(jù)并繼續(xù)執(zhí)行经备。

從流程上來看拭抬，使用select函數(shù)進(jìn)行IO請求和同步阻塞模型沒有太大的區(qū)別，甚至還多了添加監(jiān)視socket侵蒙，以及調(diào)用select函數(shù)的額外操作造虎，效率更差。但是蘑志，使用select以后最大的優(yōu)勢是用戶可以在一個線程內(nèi)同時處理多個socket的IO請求累奈。用戶可以注冊多個socket，然后不斷地調(diào)用select讀取被激活的socket急但，即可達(dá)到在同一個線程內(nèi)同時處理多個IO請求的目的澎媒。而在同步阻塞模型中，必須通過多線程的方式才能達(dá)到這個目的波桩。

用戶線程使用select函數(shù)的偽代碼描述為：

{
  select(socket);
  while(1) {
    sockets = select();
    for(socket in sockets) {
      if(can_read(socket)) {
        read(socket, buffer);
        process(buffer);
      }
    }
  }
}

其中while循環(huán)前將socket添加到select監(jiān)視中戒努，然后在while內(nèi)一直調(diào)用select獲取被激活的socket，一旦socket可讀镐躲，便調(diào)用read函數(shù)將socket中的數(shù)據(jù)讀取出來储玫。

然而，使用select函數(shù)的優(yōu)點(diǎn)并不僅限于此萤皂。雖然上述方式允許單線程內(nèi)處理多個IO請求撒穷，但是每個IO請求的過程還是阻塞的（在select函數(shù)上阻塞），平均時間甚至比同步阻塞IO模型還要長裆熙。如果用戶線程只注冊自己感興趣的socket或者IO請求端礼，然后去做自己的事情，等到數(shù)據(jù)到來時再進(jìn)行處理入录，則可以提高CPU的利用率蛤奥。
IO多路復(fù)用模型使用了Reactor設(shè)計(jì)模式實(shí)現(xiàn)了這一機(jī)制。

圖4 Reactor設(shè)計(jì)模式

如圖4所示僚稿，EventHandler抽象類表示IO事件處理器凡桥，它擁有IO文件句柄Handle（通過get_handle獲取）蚀同，以及對Handle的操作handle_event（讀/寫等）缅刽。繼承于EventHandler的子類可以對事件處理器的行為進(jìn)行定制。Reactor類用于管理EventHandler（注冊蠢络、刪除等）拷恨，并使用handle_events實(shí)現(xiàn)事件循環(huán)，不斷調(diào)用同步事件多路分離器（一般是內(nèi)核）的多路分離函數(shù)select谢肾，只要某個文件句柄被激活（可讀/寫等）腕侄，select就返回（阻塞），handle_events就會調(diào)用與文件句柄關(guān)聯(lián)的事件處理器的handle_event進(jìn)行相關(guān)操作。

圖5 IO多路復(fù)用

如圖5所示冕杠，通過Reactor的方式微姊，可以將用戶線程輪詢IO操作狀態(tài)的工作統(tǒng)一交給handle_events事件循環(huán)進(jìn)行處理。用戶線程注冊事件處理器之后可以繼續(xù)執(zhí)行做其他的工作（異步）分预，而Reactor線程負(fù)責(zé)調(diào)用內(nèi)核的select函數(shù)檢查socket狀態(tài)兢交。當(dāng)有socket被激活時，則通知相應(yīng)的用戶線程（或執(zhí)行用戶線程的回調(diào)函數(shù)）笼痹，執(zhí)行handle_event進(jìn)行數(shù)據(jù)讀取配喳、處理的工作。由于select函數(shù)是阻塞的凳干，因此多路IO復(fù)用模型也被稱為異步阻塞IO模型晴裹。注意，這里的所說的阻塞是指select函數(shù)執(zhí)行時線程被阻塞救赐，而不是指socket涧团。一般在使用IO多路復(fù)用模型時，socket都是設(shè)置為NONBLOCK的经磅，不過這并不會產(chǎn)生影響泌绣，因?yàn)橛脩舭l(fā)起IO請求時，數(shù)據(jù)已經(jīng)到達(dá)了预厌，用戶線程一定不會被阻塞阿迈。

用戶線程使用IO多路復(fù)用模型的偽代碼描述為：

void UserEventHandler::handle_event() {
  if(can_read(socket)) {
    read(socket, buffer);
    process(buffer);
   }
 }
{
Reactor.register(new UserEventHandler(socket));
}

用戶需要重寫EventHandler的handle_event函數(shù)進(jìn)行讀取數(shù)據(jù)、處理數(shù)據(jù)的工作轧叽，用戶線程只需要將自己的EventHandler注冊到Reactor即可仿滔。Reactor中handle_events事件循環(huán)的偽代碼大致如下。

Reactor::handle_events() { 
  while(1) {
    sockets = select();
    for(socket in sockets) {
      get_event_handler(socket).handle_event();
    }
  }
}

事件循環(huán)不斷地調(diào)用select獲取被激活的socket犹芹，然后根據(jù)獲取socket對應(yīng)的EventHandler，執(zhí)行器handle_event函數(shù)即可鞠绰。

IO多路復(fù)用是最常使用的IO模型腰埂，但是其異步程度還不夠“徹底”，因?yàn)樗褂昧藭枞€程的select系統(tǒng)調(diào)用蜈膨。因此IO多路復(fù)用只能稱為異步阻塞IO屿笼，而非真正的異步IO。

四翁巍、異步IO

“真正”的異步IO需要操作系統(tǒng)更強(qiáng)的支持驴一。在IO多路復(fù)用模型中，事件循環(huán)將文件句柄的狀態(tài)事件通知給用戶線程灶壶，由用戶線程自行讀取數(shù)據(jù)肝断、處理數(shù)據(jù)。而在異步IO模型中，當(dāng)用戶線程收到通知時胸懈，數(shù)據(jù)已經(jīng)被內(nèi)核讀取完畢担扑，并放在了用戶線程指定的緩沖區(qū)內(nèi)，內(nèi)核在IO完成后通知用戶線程直接使用即可趣钱。
異步IO模型使用了Proactor設(shè)計(jì)模式實(shí)現(xiàn)了這一機(jī)制涌献。

圖6 Proactor設(shè)計(jì)模式

圖7 異步IO

用戶線程使用異步IO模型的偽代碼描述為：

void UserCompletionHandler::handle_event(buffer) {
   process(buffer);
}
{
  aio_read(socket, new UserCompletionHandler);
}

用戶需要重寫CompletionHandler的handle_event函數(shù)進(jìn)行處理數(shù)據(jù)的工作酷誓，參數(shù)buffer表示Proactor已經(jīng)準(zhǔn)備好的數(shù)據(jù)披坏，用戶線程直接調(diào)用內(nèi)核提供的異步IO API，并將重寫的CompletionHandler注冊即可盐数。

相比于IO多路復(fù)用模型棒拂，異步IO并不十分常用，不少高性能并發(fā)服務(wù)程序使用IO多路復(fù)用模型+多線程任務(wù)處理的架構(gòu)基本可以滿足需求玫氢。況且目前操作系統(tǒng)對異步IO的支持并非特別完善帚屉，更多的是采用IO多路復(fù)用模型模擬異步IO的方式（IO事件觸發(fā)時不直接通知用戶線程，而是將數(shù)據(jù)讀寫完畢后放到用戶指定的緩沖區(qū)中）漾峡。Java7之后已經(jīng)支持了異步IO攻旦，感興趣的讀者可以嘗試使用。

總結(jié)IO模型比較

IO總結(jié)