高性能IO模型淺析
服務(wù)器端編程經(jīng)常需要構(gòu)造高性能的IO模型誊稚，常見的IO模型有四種：
（1）同步阻塞IO（Blocking IO）：即傳統(tǒng)的IO模型蒜哀。
（2）同步非阻塞IO（Non-blocking IO）：默認創(chuàng)建的socket都是阻塞的，非阻塞IO要求socket被設(shè)置為NONBLOCK拄踪。注意這里所說的NIO并非Java的NIO（New IO）庫蝇恶。
（3）IO多路復(fù)用（IO Multiplexing）：即經(jīng)典的Reactor設(shè)計模式，有時也稱為異步阻塞IO惶桐，Java中的Selector和Linux中的epoll都是這種模型撮弧。
（4）異步IO（Asynchronous IO）：即經(jīng)典的Proactor設(shè)計模式潘懊，也稱為異步非阻塞IO。
同步和異步的概念描述的是用戶線程與內(nèi)核的交互方式：同步是指用戶線程發(fā)起IO請求后需要等待或者輪詢內(nèi)核IO操作完成后才能繼續(xù)執(zhí)行贿衍；而異步是指用戶線程發(fā)起IO請求后仍繼續(xù)執(zhí)行授舟，當內(nèi)核IO操作完成后會通知用戶線程，或者調(diào)用用戶線程注冊的回調(diào)函數(shù)舌厨。
阻塞和非阻塞的概念描述的是用戶線程調(diào)用內(nèi)核IO操作的方式：阻塞是指IO操作需要徹底完成后才返回到用戶空間岂却；而非阻塞是指IO操作被調(diào)用后立即返回給用戶一個狀態(tài)值，無需等到IO操作徹底完成裙椭。
另外躏哩，Richard Stevens 在《Unix 網(wǎng)絡(luò)編程》卷1中提到的基于信號驅(qū)動的IO（Signal Driven IO）模型，由于該模型并不常用揉燃，本文不作涉及扫尺。接下來，我們詳細分析四種常見的IO模型的實現(xiàn)原理炊汤。為了方便描述正驻，我們統(tǒng)一使用IO的讀操作作為示例。
一抢腐、同步阻塞IO
同步阻塞IO模型是最簡單的IO模型姑曙，用戶線程在內(nèi)核進行IO操作時被阻塞。
圖1 同步阻塞IO
如圖1所示迈倍，用戶線程通過系統(tǒng)調(diào)用read發(fā)起IO讀操作伤靠，由用戶空間轉(zhuǎn)到內(nèi)核空間。內(nèi)核等到數(shù)據(jù)包到達后啼染，然后將接收的數(shù)據(jù)拷貝到用戶空間宴合，完成read操作。
用戶線程使用同步阻塞IO模型的偽代碼描述為：
{
read(socket, buffer);
process(buffer);
}
即用戶需要等待read將socket中的數(shù)據(jù)讀取到buffer后迹鹅，才繼續(xù)處理接收的數(shù)據(jù)卦洽。整個IO請求的過程中，用戶線程是被阻塞的斜棚，這導(dǎo)致用戶在發(fā)起IO請求時阀蒂，不能做任何事情，對CPU的資源利用率不夠弟蚀。
二脂新、同步非阻塞IO
同步非阻塞IO是在同步阻塞IO的基礎(chǔ)上，將socket設(shè)置為NONBLOCK粗梭。這樣做用戶線程可以在發(fā)起IO請求后可以立即返回争便。
圖2 同步非阻塞IO
如圖2所示，由于socket是非阻塞的方式断医，因此用戶線程發(fā)起IO請求時立即返回滞乙。但并未讀取到任何數(shù)據(jù)奏纪，用戶線程需要不斷地發(fā)起IO請求，直到數(shù)據(jù)到達后斩启，才真正讀取到數(shù)據(jù)序调，繼續(xù)執(zhí)行。
用戶線程使用同步非阻塞IO模型的偽代碼描述為：
{
while(read(socket, buffer) != SUCCESS)
;
process(buffer);
}
即用戶需要不斷地調(diào)用read兔簇，嘗試讀取socket中的數(shù)據(jù)发绢，直到讀取成功后，才繼續(xù)處理接收的數(shù)據(jù)垄琐。整個IO請求的過程中边酒，雖然用戶線程每次發(fā)起IO請求后可以立即返回，但是為了等到數(shù)據(jù)狸窘，仍需要不斷地輪詢墩朦、重復(fù)請求，消耗了大量的CPU的資源翻擒。一般很少直接使用這種模型氓涣，而是在其他IO模型中使用非阻塞IO這一特性。
三陋气、IO多路復(fù)用
IO多路復(fù)用模型是建立在內(nèi)核提供的多路分離函數(shù)select基礎(chǔ)之上的劳吠，使用select函數(shù)可以避免同步非阻塞IO模型中輪詢等待的問題。
圖3 多路分離函數(shù)select
如圖3所示巩趁，用戶首先將需要進行IO操作的socket添加到select中痒玩，然后阻塞等待select系統(tǒng)調(diào)用返回。當數(shù)據(jù)到達時晶渠，socket被激活凰荚，select函數(shù)返回燃观。用戶線程正式發(fā)起read請求褒脯，讀取數(shù)據(jù)并繼續(xù)執(zhí)行。
從流程上來看缆毁，使用select函數(shù)進行IO請求和同步阻塞模型沒有太大的區(qū)別番川，甚至還多了添加監(jiān)視socket，以及調(diào)用select函數(shù)的額外操作脊框，效率更差颁督。但是，使用select以后最大的優(yōu)勢是用戶可以在一個線程內(nèi)同時處理多個socket的IO請求浇雹。用戶可以注冊多個socket沉御，然后不斷地調(diào)用select讀取被激活的socket，即可達到在同一個線程內(nèi)同時處理多個IO請求的目的昭灵。而在同步阻塞模型中吠裆，必須通過多線程的方式才能達到這個目的伐谈。
用戶線程使用select函數(shù)的偽代碼描述為：
{
select(socket);
while(1)
{
sockets = select();
for(socket in sockets)
{
if(can_read(socket))
{
read(socket, buffer);
process(buffer);
}
}
}
}
其中while循環(huán)前將socket添加到select監(jiān)視中，然后在while內(nèi)一直調(diào)用select獲取被激活的socket试疙，一旦socket可讀诵棵，便調(diào)用read函數(shù)將socket中的數(shù)據(jù)讀取出來。
然而祝旷，使用select函數(shù)的優(yōu)點并不僅限于此履澳。雖然上述方式允許單線程內(nèi)處理多個IO請求，但是每個IO請求的過程還是阻塞的（在select函數(shù)上阻塞）怀跛，平均時間甚至比同步阻塞IO模型還要長距贷。如果用戶線程只注冊自己感興趣的socket或者IO請求，然后去做自己的事情敌完，等到數(shù)據(jù)到來時再進行處理储耐，則可以提高CPU的利用率。
IO多路復(fù)用模型使用了Reactor設(shè)計模式實現(xiàn)了這一機制滨溉。
圖4 Reactor設(shè)計模式
如圖4所示什湘，EventHandler抽象類表示IO事件處理器，它擁有IO文件句柄Handle（通過get_handle獲然拊堋）闽撤，以及對Handle的操作handle_event（讀/寫等）。繼承于EventHandler的子類可以對事件處理器的行為進行定制脯颜。Reactor類用于管理EventHandler（注冊哟旗、刪除等），并使用handle_events實現(xiàn)事件循環(huán)栋操，不斷調(diào)用同步事件多路分離器（一般是內(nèi)核）的多路分離函數(shù)select闸餐，只要某個文件句柄被激活（可讀/寫等），select就返回（阻塞）矾芙，handle_events就會調(diào)用與文件句柄關(guān)聯(lián)的事件處理器的handle_event進行相關(guān)操作舍沙。
圖5 IO多路復(fù)用
如圖5所示，通過Reactor的方式剔宪，可以將用戶線程輪詢IO操作狀態(tài)的工作統(tǒng)一交給handle_events事件循環(huán)進行處理拂铡。用戶線程注冊事件處理器之后可以繼續(xù)執(zhí)行做其他的工作（異步），而Reactor線程負責調(diào)用內(nèi)核的select函數(shù)檢查socket狀態(tài)葱绒。當有socket被激活時感帅，則通知相應(yīng)的用戶線程（或執(zhí)行用戶線程的回調(diào)函數(shù)），執(zhí)行handle_event進行數(shù)據(jù)讀取地淀、處理的工作失球。由于select函數(shù)是阻塞的，因此多路IO復(fù)用模型也被稱為異步阻塞IO模型帮毁。注意实苞，這里的所說的阻塞是指select函數(shù)執(zhí)行時線程被阻塞璧微，而不是指socket。一般在使用IO多路復(fù)用模型時硬梁，socket都是設(shè)置為NONBLOCK的前硫，不過這并不會產(chǎn)生影響，因為用戶發(fā)起IO請求時荧止，數(shù)據(jù)已經(jīng)到達了屹电，用戶線程一定不會被阻塞。
用戶線程使用IO多路復(fù)用模型的偽代碼描述為：
void UserEventHandler::handle_event()
{
if(can_read(socket))
{
read(socket, buffer);
process(buffer);
}
}
{
Reactor.register(new UserEventHandler(socket));
}
用戶需要重寫EventHandler的handle_event函數(shù)進行讀取數(shù)據(jù)跃巡、處理數(shù)據(jù)的工作危号，用戶線程只需要將自己的EventHandler注冊到Reactor即可。Reactor中handle_events事件循環(huán)的偽代碼大致如下素邪。
Reactor::handle_events()
{
while(1)
{
sockets = select();
for(socket in sockets)
{
get_event_handler(socket).handle_event();
}
}
}
事件循環(huán)不斷地調(diào)用select獲取被激活的socket外莲，然后根據(jù)獲取socket對應(yīng)的EventHandler，執(zhí)行器handle_event函數(shù)即可兔朦。
IO多路復(fù)用是最常使用的IO模型偷线，但是其異步程度還不夠“徹底”，因為它使用了會阻塞線程的select系統(tǒng)調(diào)用沽甥。因此IO多路復(fù)用只能稱為異步阻塞IO声邦，而非真正的異步IO。
四摆舟、異步IO
“真正”的異步IO需要操作系統(tǒng)更強的支持亥曹。在IO多路復(fù)用模型中，事件循環(huán)將文件句柄的狀態(tài)事件通知給用戶線程恨诱，由用戶線程自行讀取數(shù)據(jù)媳瞪、處理數(shù)據(jù)。而在異步IO模型中照宝，當用戶線程收到通知時蛇受，數(shù)據(jù)已經(jīng)被內(nèi)核讀取完畢，并放在了用戶線程指定的緩沖區(qū)內(nèi)硫豆，內(nèi)核在IO完成后通知用戶線程直接使用即可龙巨。
異步IO模型使用了Proactor設(shè)計模式實現(xiàn)了這一機制笼呆。
圖6 Proactor設(shè)計模式
如圖6熊响，Proactor模式和Reactor模式在結(jié)構(gòu)上比較相似，不過在用戶（Client）使用方式上差別較大诗赌。Reactor模式中汗茄，用戶線程通過向Reactor對象注冊感興趣的事件監(jiān)聽，然后事件觸發(fā)時調(diào)用事件處理函數(shù)铭若。而Proactor模式中洪碳，用戶線程將AsynchronousOperation（讀/寫等）递览、Proactor以及操作完成時的CompletionHandler注冊到AsynchronousOperationProcessor。AsynchronousOperationProcessor使用Facade模式提供了一組異步操作API（讀/寫等）供用戶使用瞳腌，當用戶線程調(diào)用異步API后绞铃，便繼續(xù)執(zhí)行自己的任務(wù)。AsynchronousOperationProcessor 會開啟獨立的內(nèi)核線程執(zhí)行異步操作嫂侍，實現(xiàn)真正的異步儿捧。當異步IO操作完成時，AsynchronousOperationProcessor將用戶線程與AsynchronousOperation一起注冊的Proactor和CompletionHandler取出挑宠，然后將CompletionHandler與IO操作的結(jié)果數(shù)據(jù)一起轉(zhuǎn)發(fā)給Proactor菲盾，Proactor負責回調(diào)每一個異步操作的事件完成處理函數(shù)handle_event。雖然Proactor模式中每個異步操作都可以綁定一個Proactor對象各淀，但是一般在操作系統(tǒng)中懒鉴，Proactor被實現(xiàn)為Singleton模式，以便于集中化分發(fā)操作完成事件碎浇。
圖7 異步IO
如圖7所示临谱，異步IO模型中，用戶線程直接使用內(nèi)核提供的異步IO API發(fā)起read請求奴璃，且發(fā)起后立即返回吴裤，繼續(xù)執(zhí)行用戶線程代碼。不過此時用戶線程已經(jīng)將調(diào)用的AsynchronousOperation和CompletionHandler注冊到內(nèi)核溺健，然后操作系統(tǒng)開啟獨立的內(nèi)核線程去處理IO操作麦牺。當read請求的數(shù)據(jù)到達時，由內(nèi)核負責讀取socket中的數(shù)據(jù)鞭缭，并寫入用戶指定的緩沖區(qū)中剖膳。最后內(nèi)核將read的數(shù)據(jù)和用戶線程注冊的CompletionHandler分發(fā)給內(nèi)部Proactor，Proactor將IO完成的信息通知給用戶線程（一般通過調(diào)用用戶線程注冊的完成事件處理函數(shù)）岭辣，完成異步IO吱晒。
用戶線程使用異步IO模型的偽代碼描述為：
void UserCompletionHandler::handle_event(buffer)
{
process(buffer);
}
{
aio_read(socket, new UserCompletionHandler);
}
用戶需要重寫CompletionHandler的handle_event函數(shù)進行處理數(shù)據(jù)的工作，參數(shù)buffer表示Proactor已經(jīng)準備好的數(shù)據(jù)沦童，用戶線程直接調(diào)用內(nèi)核提供的異步IO API仑濒，并將重寫的CompletionHandler注冊即可。
相比于IO多路復(fù)用模型偷遗，異步IO并不十分常用墩瞳，不少高性能并發(fā)服務(wù)程序使用IO多路復(fù)用模型+多線程任務(wù)處理的架構(gòu)基本可以滿足需求。況且目前操作系統(tǒng)對異步IO的支持并非特別完善氏豌，更多的是采用IO多路復(fù)用模型模擬異步IO的方式（IO事件觸發(fā)時不直接通知用戶線程喉酌，而是將數(shù)據(jù)讀寫完畢后放到用戶指定的緩沖區(qū)中）。Java7之后已經(jīng)支持了異步IO，感興趣的讀者可以嘗試使用泪电。
關(guān)注公眾號:java寶典
