Netty教程-IO多路復用機制詳解

高性能IO模型淺析

服務器端編程經常需要構造高性能的IO模型揖庄,常見的IO模型有四種:

(1)同步阻塞IO(Blocking IO):即傳統的IO模型。

(2)同步非阻塞IO(Non-blocking IO):默認創(chuàng)建的socket都是阻塞的口糕,非阻塞IO要求socket被設置為NONBLOCK蛮瞄。注意這里所說的NIO并非Java的NIO(New IO)庫棍郎。

(3)IO多路復用(IO Multiplexing):即經典的Reactor設計模式钦讳,有時也稱為異步阻塞IO,Java中的Selector和Linux中的epoll都是這種模型掐暮。

(4)異步IO(Asynchronous IO):即經典的Proactor設計模式蝎抽,也稱為異步非阻塞IO。

同步和異步的概念描述的是用戶線程與內核的交互方式:同步是指用戶線程發(fā)起IO請求后需要等待或者輪詢內核IO操作完成后才能繼續(xù)執(zhí)行路克;而異步是指用戶線程發(fā)起IO請求后仍繼續(xù)執(zhí)行樟结,當內核IO操作完成后會通知用戶線程,或者調用用戶線程注冊的回調函數精算。

阻塞和非阻塞的概念描述的是用戶線程調用內核IO操作的方式:阻塞是指IO操作需要徹底完成后才返回到用戶空間瓢宦;而非阻塞是指IO操作被調用后立即返回給用戶一個狀態(tài)值,無需等到IO操作徹底完成灰羽。

另外刁笙,Richard Stevens 在《Unix 網絡編程》卷1中提到的基于信號驅動的IO(Signal Driven IO)模型,由于該模型并不常用谦趣,本文不作涉及。接下來座每,我們詳細分析四種常見的IO模型的實現原理前鹅。為了方便描述,我們統一使用IO的讀操作作為示例峭梳。

一舰绘、同步阻塞IO

同步阻塞IO模型是最簡單的IO模型,用戶線程在內核進行IO操作時被阻塞葱椭。

image

如圖1所示捂寿,用戶線程通過系統調用read發(fā)起IO讀操作,由用戶空間轉到內核空間孵运。內核等到數據包到達后秦陋,然后將接收的數據拷貝到用戶空間,完成read操作治笨。

用戶線程使用同步阻塞IO模型的偽代碼描述為:

{

 read(socket, buffer);
 process(buffer);

}

即用戶需要等待read將socket中的數據讀取到buffer后驳概,才繼續(xù)處理接收的數據赤嚼。整個IO請求的過程中,用戶線程是被阻塞的顺又,這導致用戶在發(fā)起IO請求時更卒,不能做任何事情,對CPU的資源利用率不夠稚照。

二蹂空、同步非阻塞IO

同步非阻塞IO是在同步阻塞IO的基礎上,將socket設置為NONBLOCK果录。這樣做用戶線程可以在發(fā)起IO請求后可以立即返回上枕。

image

如圖2所示,由于socket是非阻塞的方式雕憔,因此用戶線程發(fā)起IO請求時立即返回姿骏。但并未讀取到任何數據,用戶線程需要不斷地發(fā)起IO請求斤彼,直到數據到達后分瘦,才真正讀取到數據,繼續(xù)執(zhí)行琉苇。

用戶線程使用同步非阻塞IO模型的偽代碼描述為:

{

while(read(socket, buffer) != SUCCESS)

;

process(buffer);

}

即用戶需要不斷地調用read嘲玫,嘗試讀取socket中的數據,直到讀取成功后并扇,才繼續(xù)處理接收的數據去团。整個IO請求的過程中,雖然用戶線程每次發(fā)起IO請求后可以立即返回穷蛹,但是為了等到數據土陪,仍需要不斷地輪詢、重復請求肴熏,消耗了大量的CPU的資源鬼雀。一般很少直接使用這種模型,而是在其他IO模型中使用非阻塞IO這一特性蛙吏。

三源哩、IO多路復用

IO多路復用模型是建立在內核提供的多路分離函數select基礎之上的,使用select函數可以避免同步非阻塞IO模型中輪詢等待的問題鸦做。

image

如圖3所示励烦,用戶首先將需要進行IO操作的socket添加到select中,然后阻塞等待select系統調用返回泼诱。當數據到達時坛掠,socket被激活,select函數返回。用戶線程正式發(fā)起read請求却音,讀取數據并繼續(xù)執(zhí)行改抡。

從流程上來看,使用select函數進行IO請求和同步阻塞模型沒有太大的區(qū)別系瓢,甚至還多了添加監(jiān)視socket阿纤,以及調用select函數的額外操作,效率更差夷陋。但是欠拾,使用select以后最大的優(yōu)勢是用戶可以在一個線程內同時處理多個socket的IO請求。用戶可以注冊多個socket骗绕,然后不斷地調用select讀取被激活的socket藐窄,即可達到在同一個線程內同時處理多個IO請求的目的。而在同步阻塞模型中酬土,必須通過多線程的方式才能達到這個目的荆忍。

用戶線程使用select函數的偽代碼描述為:

{

select(socket);

while(1) {

sockets = select();

for(socket in sockets) {

if(can_read(socket)) {

read(socket, buffer);

process(buffer);

}

}

}

}

其中while循環(huán)前將socket添加到select監(jiān)視中,然后在while內一直調用select獲取被激活的socket撤缴,一旦socket可讀刹枉,便調用read函數將socket中的數據讀取出來。

然而屈呕,使用select函數的優(yōu)點并不僅限于此微宝。雖然上述方式允許單線程內處理多個IO請求,但是每個IO請求的過程還是阻塞的(在select函數上阻塞)虎眨,平均時間甚至比同步阻塞IO模型還要長蟋软。如果用戶線程只注冊自己感興趣的socket或者IO請求,然后去做自己的事情嗽桩,等到數據到來時再進行處理岳守,則可以提高CPU的利用率。

IO多路復用模型使用了Reactor設計模式實現了這一機制碌冶。

image

如圖4所示棺耍,EventHandler抽象類表示IO事件處理器,它擁有IO文件句柄Handle(通過get_handle獲戎钟!),以及對Handle的操作handle_event(讀/寫等)俊卤。繼承于EventHandler的子類可以對事件處理器的行為進行定制嫩挤。Reactor類用于管理EventHandler(注冊、刪除等)消恍,并使用handle_events實現事件循環(huán)岂昭,不斷調用同步事件多路分離器(一般是內核)的多路分離函數select,只要某個文件句柄被激活(可讀/寫等)狠怨,select就返回(阻塞)约啊,handle_events就會調用與文件句柄關聯的事件處理器的handle_event進行相關操作邑遏。

image

如圖5所示,通過Reactor的方式恰矩,可以將用戶線程輪詢IO操作狀態(tài)的工作統一交給handle_events事件循環(huán)進行處理记盒。用戶線程注冊事件處理器之后可以繼續(xù)執(zhí)行做其他的工作(異步),而Reactor線程負責調用內核的select函數檢查socket狀態(tài)外傅。當有socket被激活時纪吮,則通知相應的用戶線程(或執(zhí)行用戶線程的回調函數),執(zhí)行handle_event進行數據讀取萎胰、處理的工作碾盟。由于select函數是阻塞的,因此多路IO復用模型也被稱為異步阻塞IO模型技竟。注意冰肴,這里的所說的阻塞是指select函數執(zhí)行時線程被阻塞,而不是指socket榔组。一般在使用IO多路復用模型時熙尉,socket都是設置為NONBLOCK的,不過這并不會產生影響瓷患,因為用戶發(fā)起IO請求時骡尽,數據已經到達了,用戶線程一定不會被阻塞擅编。

用戶線程使用IO多路復用模型的偽代碼描述為:

void UserEventHandler::handle_event() {

if(can_read(socket)) {

read(socket, buffer);

process(buffer);

}

}

{

Reactor.register(new UserEventHandler(socket));

}

用戶需要重寫EventHandler的handle_event函數進行讀取數據攀细、處理數據的工作,用戶線程只需要將自己的EventHandler注冊到Reactor即可爱态。Reactor中handle_events事件循環(huán)的偽代碼大致如下谭贪。

Reactor::handle_events() {

while(1) {

sockets = select();

for(socket in sockets) {

get_event_handler(socket).handle_event();

}

}

}

事件循環(huán)不斷地調用select獲取被激活的socket,然后根據獲取socket對應的EventHandler锦担,執(zhí)行器handle_event函數即可俭识。

IO多路復用是最常使用的IO模型,但是其異步程度還不夠“徹底”洞渔,因為它使用了會阻塞線程的select系統調用套媚。因此IO多路復用只能稱為異步阻塞IO,而非真正的異步IO磁椒。

四堤瘤、異步IO

“真正”的異步IO需要操作系統更強的支持。在IO多路復用模型中浆熔,事件循環(huán)將文件句柄的狀態(tài)事件通知給用戶線程本辐,由用戶線程自行讀取數據、處理數據。而在異步IO模型中慎皱,當用戶線程收到通知時老虫,數據已經被內核讀取完畢,并放在了用戶線程指定的緩沖區(qū)內茫多,內核在IO完成后通知用戶線程直接使用即可祈匙。

異步IO模型使用了Proactor設計模式實現了這一機制。

image

如圖6地梨,Proactor模式和Reactor模式在結構上比較相似菊卷,不過在用戶(Client)使用方式上差別較大。Reactor模式中宝剖,用戶線程通過向Reactor對象注冊感興趣的事件監(jiān)聽洁闰,然后事件觸發(fā)時調用事件處理函數。而Proactor模式中万细,用戶線程將AsynchronousOperation(讀/寫等)扑眉、Proactor以及操作完成時的CompletionHandler注冊到AsynchronousOperationProcessor。AsynchronousOperationProcessor使用Facade模式提供了一組異步操作API(讀/寫等)供用戶使用赖钞,當用戶線程調用異步API后腰素,便繼續(xù)執(zhí)行自己的任務。AsynchronousOperationProcessor 會開啟獨立的內核線程執(zhí)行異步操作雪营,實現真正的異步弓千。當異步IO操作完成時,AsynchronousOperationProcessor將用戶線程與AsynchronousOperation一起注冊的Proactor和CompletionHandler取出献起,然后將CompletionHandler與IO操作的結果數據一起轉發(fā)給Proactor洋访,Proactor負責回調每一個異步操作的事件完成處理函數handle_event。雖然Proactor模式中每個異步操作都可以綁定一個Proactor對象谴餐,但是一般在操作系統中姻政,Proactor被實現為Singleton模式,以便于集中化分發(fā)操作完成事件岂嗓。

image

如圖7所示汁展,異步IO模型中,用戶線程直接使用內核提供的異步IO API發(fā)起read請求厌殉,且發(fā)起后立即返回食绿,繼續(xù)執(zhí)行用戶線程代碼。不過此時用戶線程已經將調用的AsynchronousOperation和CompletionHandler注冊到內核公罕,然后操作系統開啟獨立的內核線程去處理IO操作器紧。當read請求的數據到達時,由內核負責讀取socket中的數據熏兄,并寫入用戶指定的緩沖區(qū)中。最后內核將read的數據和用戶線程注冊的CompletionHandler分發(fā)給內部Proactor,Proactor將IO完成的信息通知給用戶線程(一般通過調用用戶線程注冊的完成事件處理函數)摩桶,完成異步IO桥状。

用戶線程使用異步IO模型的偽代碼描述為:

void UserCompletionHandler::handle_event(buffer) {

process(buffer);

}

{

aio_read(socket, new UserCompletionHandler);

}

用戶需要重寫CompletionHandler的handle_event函數進行處理數據的工作,參數buffer表示Proactor已經準備好的數據硝清,用戶線程直接調用內核提供的異步IO API辅斟,并將重寫的CompletionHandler注冊即可。

相比于IO多路復用模型芦拿,異步IO并不十分常用士飒,不少高性能并發(fā)服務程序使用IO多路復用模型+多線程任務處理的架構基本可以滿足需求孤个。況且目前操作系統對異步IO的支持并非特別完善并级,更多的是采用IO多路復用模型模擬異步IO的方式(IO事件觸發(fā)時不直接通知用戶線程,而是將數據讀寫完畢后放到用戶指定的緩沖區(qū)中)缓艳。Java7之后已經支持了異步IO缓苛,感興趣的讀者可以嘗試使用芳撒。

轉自:https://blog.csdn.net/woaixiaopangniu521/article/details/70279143

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市未桥,隨后出現的幾起案子笔刹,更是在濱河造成了極大的恐慌,老刑警劉巖冬耿,帶你破解...
    沈念sama閱讀 210,978評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件舌菜,死亡現場離奇詭異,居然都是意外死亡亦镶,警方通過查閱死者的電腦和手機日月,發(fā)現死者居然都...
    沈念sama閱讀 89,954評論 2 384
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來染乌,“玉大人山孔,你說我怎么就攤上這事『杀铮” “怎么了台颠?”我有些...
    開封第一講書人閱讀 156,623評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長勒庄。 經常有香客問我串前,道長,這世上最難降的妖魔是什么实蔽? 我笑而不...
    開封第一講書人閱讀 56,324評論 1 282
  • 正文 為了忘掉前任荡碾,我火速辦了婚禮,結果婚禮上局装,老公的妹妹穿的比我還像新娘坛吁。我一直安慰自己劳殖,他們只是感情好,可當我...
    茶點故事閱讀 65,390評論 5 384
  • 文/花漫 我一把揭開白布拨脉。 她就那樣靜靜地躺著哆姻,像睡著了一般。 火紅的嫁衣襯著肌膚如雪玫膀。 梳的紋絲不亂的頭發(fā)上矛缨,一...
    開封第一講書人閱讀 49,741評論 1 289
  • 那天,我揣著相機與錄音帖旨,去河邊找鬼箕昭。 笑死,一個胖子當著我的面吹牛解阅,可吹牛的內容都是我干的落竹。 我是一名探鬼主播,決...
    沈念sama閱讀 38,892評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼瓮钥,長吁一口氣:“原來是場噩夢啊……” “哼筋量!你這毒婦竟也來了?” 一聲冷哼從身側響起碉熄,我...
    開封第一講書人閱讀 37,655評論 0 266
  • 序言:老撾萬榮一對情侶失蹤桨武,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后锈津,有當地人在樹林里發(fā)現了一具尸體呀酸,經...
    沈念sama閱讀 44,104評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年琼梆,在試婚紗的時候發(fā)現自己被綠了性誉。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,569評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡茎杂,死狀恐怖错览,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情煌往,我是刑警寧澤倾哺,帶...
    沈念sama閱讀 34,254評論 4 328
  • 正文 年R本政府宣布,位于F島的核電站刽脖,受9級特大地震影響羞海,放射性物質發(fā)生泄漏。R本人自食惡果不足惜曲管,卻給世界環(huán)境...
    茶點故事閱讀 39,834評論 3 312
  • 文/蒙蒙 一却邓、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧院水,春花似錦腊徙、人聲如沸简十。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,725評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽勺远。三九已至,卻和暖如春时鸵,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背厅瞎。 一陣腳步聲響...
    開封第一講書人閱讀 31,950評論 1 264
  • 我被黑心中介騙來泰國打工饰潜, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人和簸。 一個月前我還...
    沈念sama閱讀 46,260評論 2 360
  • 正文 我出身青樓彭雾,卻偏偏與公主長得像,于是被迫代替她去往敵國和親锁保。 傳聞我的和親對象是個殘疾皇子薯酝,可洞房花燭夜當晚...
    茶點故事閱讀 43,446評論 2 348

推薦閱讀更多精彩內容