四漓骚、高性能IO模型淺析

按照《Unix網(wǎng)絡編程》的劃分蝌衔,IO模型可以分為:阻塞IO、非阻塞IO蝌蹂、IO復用噩斟、信號驅(qū)動IO和異步IO;按照POSIX標準來劃分只分為兩類:同步IO和異步IO孤个。

如何區(qū)分呢亩冬?首先一個IO操作其實分成了兩個步驟:發(fā)起IO請求和實際的IO操作。

  1. 同步IO和異步IO的區(qū)別就在于第二個步驟是否阻塞硼身,如果實際的IO讀寫阻塞請求進程,那么就是同步IO覆享,因此阻塞IO佳遂、非阻塞IO、IO復用撒顿、信號驅(qū)動IO都是同步IO丑罪,如果不阻塞,而是操作系統(tǒng)幫你做完IO操作再將結(jié)果返回給你凤壁,那么就是異步IO
  2. 阻塞IO和非阻塞IO的區(qū)別在于第一步吩屹,發(fā)起IO請求是否會被阻塞,如果阻塞直到完成那么就是傳統(tǒng)的阻塞IO拧抖,如果不阻塞煤搜,那么就是非阻塞IO。

同步和異步的概念描述的是用戶線程與內(nèi)核的交互方式:同步是指用戶線程發(fā)起IO請求后需要等待或者輪詢內(nèi)核IO操作完成后才能繼續(xù)執(zhí)行唧席;而異步是指用戶線程發(fā)起IO請求后仍繼續(xù)執(zhí)行擦盾,當內(nèi)核IO操作完成后會通知用戶線程,或者調(diào)用用戶線程注冊的回調(diào)函數(shù)淌哟。

阻塞和非阻塞的概念描述的是用戶線程調(diào)用內(nèi)核IO操作的方式:阻塞是指IO操作需要徹底完成后才返回到用戶空間迹卢;而非阻塞是指IO操作被調(diào)用后立即返回給用戶一個狀態(tài)值,無需等到IO操作徹底完成徒仓。

另外腐碱,Richard Stevens 在《Unix 網(wǎng)絡編程》卷1中提到的基于信號驅(qū)動的IO(Signal Driven IO)模型,由于該模型并不常用掉弛,本文不作涉及症见。接下來喂走,我們詳細分析四種常見的IO模型的實現(xiàn)原理抢埋。為了方便描述一膨,我們統(tǒng)一使用IO的讀操作作為示例。

常見的IO模型有四種:

(1)同步阻塞IO(Blocking IO):即傳統(tǒng)的IO模型骂际。

(2)同步非阻塞IO(Non-blocking IO):默認創(chuàng)建的socket都是阻塞的瓷们,非阻塞IO要求socket被設置為NONBLOCK业栅。注意這里所說的NIO并非Java的NIO(New IO)庫

(3)IO多路復用(IO Multiplexing):即經(jīng)典的Reactor設計模式谬晕,屬于同步阻塞碘裕,Java中的Selector和Linux中的epoll都是這種模型,但由于是多路攒钳,所以效率得到提升帮孔。

(4)異步IO(Asynchronous IO):即經(jīng)典的Proactor設計模式,也稱為異步非阻塞IO不撑。

一文兢、同步阻塞IO

同步阻塞IO模型是最簡單的IO模型,用戶線程在內(nèi)核進行IO操作時被阻塞焕檬。

image

圖1 同步阻塞IO

如圖1所示姆坚,用戶線程通過系統(tǒng)調(diào)用read發(fā)起IO讀操作,由用戶空間轉(zhuǎn)到內(nèi)核空間实愚。內(nèi)核等到數(shù)據(jù)包到達后兼呵,然后將接收的數(shù)據(jù)拷貝到用戶空間,完成read操作腊敲。

用戶線程使用同步阻塞IO模型的偽代碼描述為:

{

read(socket, buffer);

process(buffer);

}

即用戶需要等待read將socket中的數(shù)據(jù)讀取到buffer后击喂,才繼續(xù)處理接收的數(shù)據(jù)。整個IO請求的過程中碰辅,用戶線程是被阻塞的懂昂,這導致用戶在發(fā)起IO請求時,不能做任何事情没宾,對CPU的資源利用率不夠忍法。

二、同步非阻塞IO

同步非阻塞IO是在同步阻塞IO的基礎上榕吼,將socket設置為NONBLOCK饿序。這樣做用戶線程可以在發(fā)起IO請求后可以立即返回。

image

圖2 同步非阻塞IO

如圖2所示羹蚣,由于socket是非阻塞的方式原探,因此用戶線程發(fā)起IO請求時立即返回。但并未讀取到任何數(shù)據(jù),用戶線程需要不斷地發(fā)起IO請求咽弦,直到數(shù)據(jù)到達后徒蟆,才真正讀取到數(shù)據(jù),繼續(xù)執(zhí)行型型。

用戶線程使用同步非阻塞IO模型的偽代碼描述為:

{

while(read(socket, buffer) != SUCCESS)
;

process(buffer);

}

即用戶需要不斷地調(diào)用read段审,嘗試讀取socket中的數(shù)據(jù),直到讀取成功后闹蒜,才繼續(xù)處理接收的數(shù)據(jù)寺枉。整個IO請求的過程中,雖然用戶線程每次發(fā)起IO請求后可以立即返回绷落,但是為了等到數(shù)據(jù)姥闪,仍需要不斷地輪詢、重復請求砌烁,消耗了大量的CPU的資源筐喳。一般很少直接使用這種模型,而是在其他IO模型中使用非阻塞IO這一特性函喉。

三避归、IO多路復用

IO多路復用模型是建立在內(nèi)核提供的多路分離函數(shù)select基礎之上的,使用select函數(shù)可以避免同步非阻塞IO模型中輪詢等待的問題管呵。

image

圖3 多路分離函數(shù)select

如圖3所示梳毙,用戶首先將需要進行IO操作的socket添加到select中,然后阻塞等待select系統(tǒng)調(diào)用返回撇寞。當數(shù)據(jù)到達時,socket被激活堂氯,select函數(shù)返回蔑担。用戶線程正式發(fā)起read請求,讀取數(shù)據(jù)并繼續(xù)執(zhí)行咽白。

從流程上來看啤握,使用select函數(shù)進行IO請求和同步阻塞模型沒有太大的區(qū)別,甚至還多了添加監(jiān)視socket晶框,以及調(diào)用select函數(shù)的額外操作排抬,效率更差。但是授段,使用select以后最大的優(yōu)勢是用戶可以在一個線程內(nèi)同時處理多個socket的IO請求蹲蒲。用戶可以注冊多個socket,然后不斷地調(diào)用select讀取被激活的socket侵贵,即可達到在同一個線程內(nèi)同時處理多個IO請求的目的届搁。而在同步阻塞模型中,必須通過多線程的方式才能達到這個目的。

用戶線程使用select函數(shù)的偽代碼描述為:

{

select(socket);

while(1) {

sockets = select();

for(socket in sockets) {

if(can_read(socket)) {

read(socket, buffer);

process(buffer);

}

}

}

}

其中while循環(huán)前將socket添加到select監(jiān)視中卡睦,然后在while內(nèi)一直調(diào)用select獲取被激活的socket宴胧,一旦socket可讀,便調(diào)用read函數(shù)將socket中的數(shù)據(jù)讀取出來表锻。

然而恕齐,使用select函數(shù)的優(yōu)點并不僅限于此。雖然上述方式允許單線程內(nèi)處理多個IO請求瞬逊,但是每個IO請求的過程還是阻塞的(在select函數(shù)上阻塞)显歧,平均時間甚至比同步阻塞IO模型還要長。如果用戶線程只注冊自己感興趣的socket或者IO請求码耐,然后去做自己的事情追迟,等到數(shù)據(jù)到來時再進行處理,則可以提高CPU的利用率骚腥。

IO多路復用模型使用了Reactor設計模式實現(xiàn)了這一機制敦间。

image

圖4 Reactor設計模式

如圖4所示,EventHandler抽象類表示IO事件處理器束铭,它擁有IO文件句柄Handle(通過get_handle獲壤椤),以及對Handle的操作handle_event(讀/寫等)契沫。繼承于EventHandler的子類可以對事件處理器的行為進行定制带猴。Reactor類用于管理EventHandler(注冊、刪除等)懈万,并使用handle_events實現(xiàn)事件循環(huán)拴清,不斷調(diào)用同步事件多路分離器(一般是內(nèi)核)的多路分離函數(shù)select,只要某個文件句柄被激活(可讀/寫等)会通,select就返回(阻塞)口予,handle_events就會調(diào)用與文件句柄關聯(lián)的事件處理器的handle_event進行相關操作。

image

圖5 IO多路復用

如圖5所示涕侈,通過Reactor的方式沪停,可以將用戶線程輪詢IO操作狀態(tài)的工作統(tǒng)一交給handle_events事件循環(huán)進行處理。用戶線程注冊事件處理器之后可以繼續(xù)執(zhí)行做其他的工作(異步)裳涛,而Reactor線程負責調(diào)用內(nèi)核的select函數(shù)檢查socket狀態(tài)木张。當有socket被激活時,則通知相應的用戶線程(或執(zhí)行用戶線程的回調(diào)函數(shù))端三,執(zhí)行handle_event進行數(shù)據(jù)讀取舷礼、處理的工作。由于select函數(shù)是阻塞的郊闯,因此多路IO復用模型也被稱為異步阻塞IO模型且轨。注意浮声,這里的所說的阻塞是指select函數(shù)執(zhí)行時線程被阻塞,而不是指socket旋奢。一般在使用IO多路復用模型時泳挥,socket都是設置為NONBLOCK的,不過這并不會產(chǎn)生影響至朗,因為用戶發(fā)起IO請求時屉符,數(shù)據(jù)已經(jīng)到達了,用戶線程一定不會被阻塞锹引。

用戶線程使用IO多路復用模型的偽代碼描述為:

void UserEventHandler::handle_event() {

if(can_read(socket)) {

read(socket, buffer);

process(buffer);

}

}

{

Reactor.register(new UserEventHandler(socket));

}

用戶需要重寫EventHandler的handle_event函數(shù)進行讀取數(shù)據(jù)矗钟、處理數(shù)據(jù)的工作,用戶線程只需要將自己的EventHandler注冊到Reactor即可嫌变。Reactor中handle_events事件循環(huán)的偽代碼大致如下吨艇。

Reactor::handle_events() {

while(1) {

sockets = select();

for(socket in sockets) {

get_event_handler(socket).handle_event();

}

}

}

事件循環(huán)不斷地調(diào)用select獲取被激活的socket,然后根據(jù)獲取socket對應的EventHandler腾啥,執(zhí)行器handle_event函數(shù)即可东涡。

IO多路復用是最常使用的IO模型,但是其異步程度還不夠“徹底”倘待,因為它使用了會阻塞線程的select系統(tǒng)調(diào)用疮跑。因此IO多路復用只能稱為異步阻塞IO,而非真正的異步IO凸舵。

四祖娘、異步IO

“真正”的異步IO需要操作系統(tǒng)更強的支持。在IO多路復用模型中啊奄,事件循環(huán)將文件句柄的狀態(tài)事件通知給用戶線程渐苏,由用戶線程自行讀取數(shù)據(jù)、處理數(shù)據(jù)菇夸。而在異步IO模型中琼富,當用戶線程收到通知時,數(shù)據(jù)已經(jīng)被內(nèi)核讀取完畢峻仇,并放在了用戶線程指定的緩沖區(qū)內(nèi)公黑,內(nèi)核在IO完成后通知用戶線程直接使用即可邑商。

異步IO模型使用了Proactor設計模式實現(xiàn)了這一機制摄咆。

image

圖6 Proactor設計模式

如圖6,Proactor模式和Reactor模式在結(jié)構(gòu)上比較相似人断,不過在用戶(Client)使用方式上差別較大吭从。Reactor模式中,用戶線程通過向Reactor對象注冊感興趣的事件監(jiān)聽恶迈,然后事件觸發(fā)時調(diào)用事件處理函數(shù)涩金。而Proactor模式中谱醇,用戶線程將AsynchronousOperation(讀/寫等)、Proactor以及操作完成時的CompletionHandler注冊到AsynchronousOperationProcessor步做。AsynchronousOperationProcessor使用Facade模式提供了一組異步操作API(讀/寫等)供用戶使用副渴,當用戶線程調(diào)用異步API后,便繼續(xù)執(zhí)行自己的任務全度。AsynchronousOperationProcessor 會開啟獨立的內(nèi)核線程執(zhí)行異步操作煮剧,實現(xiàn)真正的異步。當異步IO操作完成時将鸵,AsynchronousOperationProcessor將用戶線程與AsynchronousOperation一起注冊的Proactor和CompletionHandler取出勉盅,然后將CompletionHandler與IO操作的結(jié)果數(shù)據(jù)一起轉(zhuǎn)發(fā)給Proactor,Proactor負責回調(diào)每一個異步操作的事件完成處理函數(shù)handle_event顶掉。雖然Proactor模式中每個異步操作都可以綁定一個Proactor對象草娜,但是一般在操作系統(tǒng)中,Proactor被實現(xiàn)為Singleton模式痒筒,以便于集中化分發(fā)操作完成事件宰闰。

image

圖7 異步IO

如圖7所示,異步IO模型中凸克,用戶線程直接使用內(nèi)核提供的異步IO API發(fā)起read請求议蟆,且發(fā)起后立即返回,繼續(xù)執(zhí)行用戶線程代碼萎战。不過此時用戶線程已經(jīng)將調(diào)用的AsynchronousOperation和CompletionHandler注冊到內(nèi)核咐容,然后操作系統(tǒng)開啟獨立的內(nèi)核線程去處理IO操作。當read請求的數(shù)據(jù)到達時蚂维,由內(nèi)核負責讀取socket中的數(shù)據(jù)戳粒,并寫入用戶指定的緩沖區(qū)中。最后內(nèi)核將read的數(shù)據(jù)和用戶線程注冊的CompletionHandler分發(fā)給內(nèi)部Proactor虫啥,Proactor將IO完成的信息通知給用戶線程(一般通過調(diào)用用戶線程注冊的完成事件處理函數(shù))蔚约,完成異步IO。

用戶線程使用異步IO模型的偽代碼描述為:

void UserCompletionHandler::handle_event(buffer) {

process(buffer);

}

{

aio_read(socket, new UserCompletionHandler);

}

用戶需要重寫CompletionHandler的handle_event函數(shù)進行處理數(shù)據(jù)的工作涂籽,參數(shù)buffer表示Proactor已經(jīng)準備好的數(shù)據(jù)苹祟,用戶線程直接調(diào)用內(nèi)核提供的異步IO API,并將重寫的CompletionHandler注冊即可评雌。

相比于IO多路復用模型树枫,異步IO并不十分常用,不少高性能并發(fā)服務程序使用IO多路復用模型+多線程任務處理的架構(gòu)基本可以滿足需求景东。況且目前操作系統(tǒng)對異步IO的支持并非特別完善砂轻,更多的是采用IO多路復用模型模擬異步IO的方式(IO事件觸發(fā)時不直接通知用戶線程,而是將數(shù)據(jù)讀寫完畢后放到用戶指定的緩沖區(qū)中)斤吐。Java7之后已經(jīng)支持了異步IO搔涝,感興趣的讀者可以嘗試使用厨喂。

本文從基本概念、工作流程和代碼示例三個層次簡要描述了常見的四種高性能IO模型的結(jié)構(gòu)和原理庄呈,理清了同步蜕煌、異步、阻塞诬留、非阻塞這些容易混淆的概念幌绍。通過對高性能IO模型的理解,可以在服務端程序的開發(fā)中選擇更符合實際業(yè)務特點的IO模型故响,提高服務質(zhì)量傀广。希望本文對你有所幫助。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末彩届,一起剝皮案震驚了整個濱河市伪冰,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌樟蠕,老刑警劉巖贮聂,帶你破解...
    沈念sama閱讀 211,123評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異寨辩,居然都是意外死亡吓懈,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評論 2 384
  • 文/潘曉璐 我一進店門靡狞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來耻警,“玉大人,你說我怎么就攤上這事甸怕「蚀” “怎么了?”我有些...
    開封第一講書人閱讀 156,723評論 0 345
  • 文/不壞的土叔 我叫張陵梢杭,是天一觀的道長温兼。 經(jīng)常有香客問我,道長武契,這世上最難降的妖魔是什么募判? 我笑而不...
    開封第一講書人閱讀 56,357評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮咒唆,結(jié)果婚禮上届垫,老公的妹妹穿的比我還像新娘。我一直安慰自己钧排,他們只是感情好敦腔,可當我...
    茶點故事閱讀 65,412評論 5 384
  • 文/花漫 我一把揭開白布均澳。 她就那樣靜靜地躺著恨溜,像睡著了一般符衔。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上糟袁,一...
    開封第一講書人閱讀 49,760評論 1 289
  • 那天判族,我揣著相機與錄音,去河邊找鬼项戴。 笑死形帮,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的周叮。 我是一名探鬼主播辩撑,決...
    沈念sama閱讀 38,904評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼仿耽!你這毒婦竟也來了合冀?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,672評論 0 266
  • 序言:老撾萬榮一對情侶失蹤项贺,失蹤者是張志新(化名)和其女友劉穎君躺,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體开缎,經(jīng)...
    沈念sama閱讀 44,118評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡棕叫,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,456評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了奕删。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片俺泣。...
    茶點故事閱讀 38,599評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖完残,靈堂內(nèi)的尸體忽然破棺而出砌滞,到底是詐尸還是另有隱情,我是刑警寧澤坏怪,帶...
    沈念sama閱讀 34,264評論 4 328
  • 正文 年R本政府宣布贝润,位于F島的核電站,受9級特大地震影響铝宵,放射性物質(zhì)發(fā)生泄漏打掘。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,857評論 3 312
  • 文/蒙蒙 一鹏秋、第九天 我趴在偏房一處隱蔽的房頂上張望尊蚁。 院中可真熱鬧,春花似錦侣夷、人聲如沸横朋。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,731評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽琴锭。三九已至晰甚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間决帖,已是汗流浹背厕九。 一陣腳步聲響...
    開封第一講書人閱讀 31,956評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留地回,地道東北人扁远。 一個月前我還...
    沈念sama閱讀 46,286評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像刻像,于是被迫代替她去往敵國和親畅买。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,465評論 2 348

推薦閱讀更多精彩內(nèi)容