同步IO和異步IO,阻塞IO和非阻塞IO分別是什么腻暮,到底有什么區(qū)別幔翰?不同的人在不同的上下文下給出的答案是不同的。所以先限定一下本文的上下文西壮。
本文討論的背景是Linux環(huán)境下的network IO。
一叫惊、 概念說(shuō)明
在進(jìn)行解釋之前款青,首先要說(shuō)明幾個(gè)概念:
進(jìn)程切換
為了控制進(jìn)程的執(zhí)行,內(nèi)核必須有能力掛起正在CPU上運(yùn)行的進(jìn)程霍狰,并恢復(fù)以前掛起的某個(gè)進(jìn)程的執(zhí)行抡草。這種行為被稱為進(jìn)程切換。因此可以說(shuō)蔗坯,任何進(jìn)程都是在操作系統(tǒng)內(nèi)核的支持下運(yùn)行的康震,是與內(nèi)核緊密相關(guān)的。從一個(gè)進(jìn)程的運(yùn)行轉(zhuǎn)到另一個(gè)進(jìn)程上運(yùn)行宾濒,這個(gè)過(guò)程中經(jīng)過(guò)下面這些變化:
- 保存處理機(jī)上下文腿短,包括程序計(jì)數(shù)器和其他寄存器。
- 更新PCB信息绘梦。
- 把進(jìn)程的PCB移入相應(yīng)的隊(duì)列橘忱,如就緒、在某事件阻塞等隊(duì)列卸奉。
- 選擇另一個(gè)進(jìn)程執(zhí)行钝诚,并更新其PCB。
- 更新內(nèi)存管理的數(shù)據(jù)結(jié)構(gòu)榄棵。
- 恢復(fù)處理機(jī)上下文凝颇。
注:總而言之就是很耗資源
進(jìn)程的阻塞
正在執(zhí)行的進(jìn)程,由于期待的某些事件未發(fā)生疹鳄,如請(qǐng)求系統(tǒng)資源失敗拧略、等待某種操作的完成、新數(shù)據(jù)尚未到達(dá)或無(wú)新工作做等尚辑,則由系統(tǒng)自動(dòng)執(zhí)行阻塞原語(yǔ)(Block)辑鲤,使自己由運(yùn)行狀態(tài)變?yōu)樽枞麪顟B(tài)「懿纾可見(jiàn)月褥,進(jìn)程的阻塞是進(jìn)程自身的一種主動(dòng)行為弛随,也因此只有處于運(yùn)行態(tài)的進(jìn)程(獲得CPU),才可能將其轉(zhuǎn)為阻塞狀態(tài)宁赤。當(dāng)進(jìn)程進(jìn)入阻塞狀態(tài)舀透,是不占用CPU資源的。
文件描述符fd
文件描述符(File descriptor)是計(jì)算機(jī)科學(xué)中的一個(gè)術(shù)語(yǔ)决左,是一個(gè)用于表述指向文件的引用的抽象化概念愕够。
文件描述符在形式上是一個(gè)非負(fù)整數(shù)。實(shí)際上佛猛,它是一個(gè)索引值惑芭,指向內(nèi)核為每一個(gè)進(jìn)程所維護(hù)的該進(jìn)程打開(kāi)文件的記錄表。當(dāng)程序打開(kāi)一個(gè)現(xiàn)有文件或者創(chuàng)建一個(gè)新文件時(shí)继找,內(nèi)核向進(jìn)程返回一個(gè)文件描述符遂跟。在程序設(shè)計(jì)中,一些涉及底層的程序編寫(xiě)往往會(huì)圍繞著文件描述符展開(kāi)婴渡。但是文件描述符這一概念往往只適用于UNIX幻锁、Linux這樣的操作系統(tǒng)。
緩存 I/O
緩存 I/O 又被稱作標(biāo)準(zhǔn) I/O边臼,大多數(shù)文件系統(tǒng)的默認(rèn) I/O 操作都是緩存 I/O哄尔。在 Linux 的緩存 I/O 機(jī)制中,操作系統(tǒng)會(huì)將 I/O 的數(shù)據(jù)緩存在文件系統(tǒng)的頁(yè)緩存( page cache )中柠并,也就是說(shuō)岭接,數(shù)據(jù)會(huì)先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中,然后才會(huì)從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間堂鲤。
緩存 I/O 的缺點(diǎn):
數(shù)據(jù)在傳輸過(guò)程中需要在應(yīng)用程序地址空間和內(nèi)核進(jìn)行多次數(shù)據(jù)拷貝操作亿傅,這些數(shù)據(jù)拷貝操作所帶來(lái)的 CPU 以及內(nèi)存開(kāi)銷是非常大的。
二瘟栖、 IO模式
剛才說(shuō)了葵擎,對(duì)于一次IO訪問(wèn)(以read舉例),數(shù)據(jù)會(huì)先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中半哟,然后才會(huì)從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間酬滤。所以說(shuō),當(dāng)一個(gè)read操作發(fā)生時(shí)寓涨,它會(huì)經(jīng)歷兩個(gè)階段:
第一階段:等待數(shù)據(jù)準(zhǔn)備 (Waiting for the data to be ready)盯串。
第二階段:將數(shù)據(jù)從內(nèi)核拷貝到進(jìn)程中 (Copying the data from the kernel to the process)。
對(duì)于socket流而言戒良,
第一步:通常涉及等待網(wǎng)絡(luò)上的數(shù)據(jù)分組到達(dá)体捏,然后被復(fù)制到內(nèi)核的某個(gè)緩沖區(qū)。
第二步:把數(shù)據(jù)從內(nèi)核緩沖區(qū)復(fù)制到應(yīng)用進(jìn)程緩沖區(qū)。
網(wǎng)絡(luò)應(yīng)用需要處理的無(wú)非就是兩大類問(wèn)題几缭,網(wǎng)絡(luò)IO河泳,數(shù)據(jù)計(jì)算。相對(duì)于后者年栓,網(wǎng)絡(luò)IO的延遲拆挥,給應(yīng)用帶來(lái)的性能瓶頸大于后者。網(wǎng)絡(luò)IO的模型大致有如下幾種:
同步模型(synchronous IO)
- 阻塞IO(bloking IO)
- 非阻塞IO(non-blocking IO)
- 多路復(fù)用IO(multiplexing IO)
- 信號(hào)驅(qū)動(dòng)式IO(signal-driven IO)
異步IO(asynchronous IO)
注:由于signal driven IO在實(shí)際中并不常用某抓,所以我這只提及剩下的四種IO Model纸兔。
阻塞 I/O(blocking IO)
在linux中,默認(rèn)情況下所有的socket都是blocking否副,一個(gè)典型的讀操作流程大概是這樣:
當(dāng)用戶進(jìn)程調(diào)用了recvfrom這個(gè)系統(tǒng)調(diào)用汉矿,kernel就開(kāi)始了IO的第一個(gè)階段:準(zhǔn)備數(shù)據(jù)(對(duì)于網(wǎng)絡(luò)IO來(lái)說(shuō),很多時(shí)候數(shù)據(jù)在一開(kāi)始還沒(méi)有到達(dá)备禀。比如负甸,還沒(méi)有收到一個(gè)完整的UDP包。這個(gè)時(shí)候kernel就要等待足夠的數(shù)據(jù)到來(lái))痹届。這個(gè)過(guò)程需要等待,也就是說(shuō)數(shù)據(jù)被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中是需要一個(gè)過(guò)程的打月。而在用戶進(jìn)程這邊队腐,整個(gè)進(jìn)程會(huì)被阻塞(當(dāng)然,是進(jìn)程自己選擇的阻塞)奏篙。當(dāng)kernel一直等到數(shù)據(jù)準(zhǔn)備好了柴淘,它就會(huì)將數(shù)據(jù)從kernel中拷貝到用戶內(nèi)存,然后kernel返回結(jié)果秘通,用戶進(jìn)程才解除block的狀態(tài)为严,重新運(yùn)行起來(lái)。所以肺稀,blocking IO的特點(diǎn)就是在IO執(zhí)行的兩個(gè)階段都被block了第股。
非阻塞 I/O(nonblocking IO)
linux下,可以通過(guò)設(shè)置socket使其變?yōu)閚on-blocking话原。當(dāng)對(duì)一個(gè)non-blocking socket執(zhí)行讀操作時(shí)夕吻,流程是這個(gè)樣子:
當(dāng)用戶進(jìn)程發(fā)出read操作時(shí),如果kernel中的數(shù)據(jù)還沒(méi)有準(zhǔn)備好繁仁,那么它并不會(huì)block用戶進(jìn)程涉馅,而是立刻返回一個(gè)error。從用戶進(jìn)程角度講 黄虱,它發(fā)起一個(gè)read操作后稚矿,并不需要等待,而是馬上就得到了一個(gè)結(jié)果。用戶進(jìn)程判斷結(jié)果是一個(gè)error時(shí)晤揣,它就知道數(shù)據(jù)還沒(méi)有準(zhǔn)備好桥爽,于是它可以再次發(fā)送read操作。一旦kernel中的數(shù)據(jù)準(zhǔn)備好了碉渡,并且又再次收到了用戶進(jìn)程的system call聚谁,那么它馬上就將數(shù)據(jù)拷貝到了用戶內(nèi)存,然后返回滞诺。所以形导,nonblocking IO的特點(diǎn)是用戶進(jìn)程需要不斷的主動(dòng)詢問(wèn)kernel數(shù)據(jù)好了沒(méi)有。
I/O 多路復(fù)用( IO multiplexing)
IO multiplexing就是我們說(shuō)的select习霹,poll朵耕,epoll,有些地方也稱這種IO方式為event driven IO淋叶。select/epoll的好處就在于單個(gè)process就可以同時(shí)處理多個(gè)網(wǎng)絡(luò)連接的IO阎曹。它的基本原理就是select,poll煞檩,epoll這個(gè)function會(huì)不斷的輪詢所負(fù)責(zé)的所有socket处嫌,當(dāng)某個(gè)socket有數(shù)據(jù)到達(dá)了,就通知用戶進(jìn)程斟湃。
當(dāng)用戶進(jìn)程調(diào)用了select熏迹,那么整個(gè)進(jìn)程會(huì)被block,而同時(shí)凝赛,kernel會(huì)“監(jiān)視”所有select負(fù)責(zé)的socket注暗,當(dāng)任何一個(gè)socket中的數(shù)據(jù)準(zhǔn)備好了,select就會(huì)返回墓猎。這個(gè)時(shí)候用戶進(jìn)程再調(diào)用read操作捆昏,將數(shù)據(jù)從kernel拷貝到用戶進(jìn)程。
所以毙沾,I/O 多路復(fù)用的特點(diǎn)是通過(guò)一種機(jī)制一個(gè)進(jìn)程能同時(shí)等待多個(gè)文件描述符骗卜,而這些文件描述符(套接字描述符)其中的任意一個(gè)進(jìn)入讀就緒狀態(tài),select()函數(shù)就可以返回左胞。
這個(gè)圖和blocking IO的圖其實(shí)并沒(méi)有太大的不同膨俐,事實(shí)上,還更差一些罩句。因?yàn)檫@里需要使用兩個(gè)system call (select 和 recvfrom)焚刺,而blocking IO只調(diào)用了一個(gè)system call (recvfrom)。但是门烂,用select的優(yōu)勢(shì)在于它可以同時(shí)處理多個(gè)connection乳愉。
所以兄淫,如果處理的連接數(shù)不是很高的話,使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好蔓姚,可能延遲還更大捕虽。select/epoll的優(yōu)勢(shì)并不是對(duì)于單個(gè)連接能處理得更快,而是在于能處理更多的連接坡脐。)
在IO multiplexing Model中泄私,實(shí)際中,對(duì)于每一個(gè)socket备闲,一般都設(shè)置成為non-blocking晌端,但是,如上圖所示恬砂,整個(gè)用戶的process其實(shí)是一直被block的咧纠。只不過(guò)process是被select這個(gè)函數(shù)block,而不是被socket IO給block泻骤。
異步 I/O(asynchronous IO)
linux下的asynchronous IO其實(shí)用得很少漆羔。先看一下它的流程:
用戶進(jìn)程發(fā)起read操作之后,立刻就可以開(kāi)始去做其它的事狱掂。而另一方面演痒,從kernel的角度,當(dāng)它受到一個(gè)asynchronous read之后趋惨,首先它會(huì)立刻返回嫡霞,所以不會(huì)對(duì)用戶進(jìn)程產(chǎn)生任何block。然后希柿,kernel會(huì)等待數(shù)據(jù)準(zhǔn)備完成,然后將數(shù)據(jù)拷貝到用戶內(nèi)存养筒,當(dāng)這一切都完成之后曾撤,kernel會(huì)給用戶進(jìn)程發(fā)送一個(gè)signal,告訴它read操作完成了晕粪。
總結(jié)
blocking和non-blocking的區(qū)別
調(diào)用blocking IO會(huì)一直block住對(duì)應(yīng)的進(jìn)程直到操作完成挤悉,而non-blocking IO在kernel還準(zhǔn)備數(shù)據(jù)的情況下會(huì)立刻返回。
synchronous IO和asynchronous IO的區(qū)別
在說(shuō)明synchronous IO和asynchronous IO的區(qū)別之前巫湘,需要先給出兩者的定義装悲。POSIX的定義是這樣子的:
- A synchronous I/O operation causes the requesting process to be
blocked until that I/O operation completes; - An asynchronous I/O operation does not cause the requesting process to be blocked;
兩者的區(qū)別就在于synchronous IO做”IO operation”的時(shí)候會(huì)將process阻塞。按照這個(gè)定義尚氛,之前所述的blocking IO诀诊,non-blocking IO,IO multiplexing都屬于synchronous IO阅嘶。
有人會(huì)說(shuō)属瓣,non-blocking IO并沒(méi)有被block啊载迄。這里有個(gè)非常“狡猾”的地方抡蛙,定義中所指的”IO operation”是指真實(shí)的IO操作护昧,就是例子中的recvfrom這個(gè)system call。non-blocking IO在執(zhí)行recvfrom這個(gè)system call的時(shí)候粗截,如果kernel的數(shù)據(jù)沒(méi)有準(zhǔn)備好惋耙,這時(shí)候不會(huì)block進(jìn)程。但是熊昌,當(dāng)kernel中數(shù)據(jù)準(zhǔn)備好的時(shí)候绽榛,recvfrom會(huì)將數(shù)據(jù)從kernel拷貝到用戶內(nèi)存中,這個(gè)時(shí)候進(jìn)程是被block了浴捆,在這段時(shí)間內(nèi)蒜田,進(jìn)程是被block的。
而asynchronous IO則不一樣选泻,當(dāng)進(jìn)程發(fā)起IO 操作之后冲粤,就直接返回再也不理睬了,直到kernel發(fā)送一個(gè)信號(hào)页眯,告訴進(jìn)程說(shuō)IO完成(看圖可以發(fā)現(xiàn)系統(tǒng)已經(jīng)把數(shù)據(jù)從內(nèi)核空間copy到用戶空間梯捕,用戶線程可以直接操作數(shù)據(jù))。在這整個(gè)過(guò)程中窝撵,進(jìn)程完全沒(méi)有被block傀顾。
各個(gè)IO Model的比較如圖所示:
通過(guò)上面的圖片,可以發(fā)現(xiàn)non-blocking IO和asynchronous IO的區(qū)別還是很明顯的碌奉。在non-blocking IO中短曾,雖然進(jìn)程大部分時(shí)間都不會(huì)被block,但是它仍然要求進(jìn)程去主動(dòng)的check赐劣,并且當(dāng)數(shù)據(jù)準(zhǔn)備完成以后嫉拐,也需要進(jìn)程主動(dòng)的再次調(diào)用recvfrom來(lái)將數(shù)據(jù)拷貝到用戶內(nèi)存。而asynchronous IO則完全不同魁兼。它就像是用戶進(jìn)程將整個(gè)IO操作交給了他人(kernel)完成婉徘,然后他人做完后發(fā)信號(hào)通知。在此期間咐汞,用戶進(jìn)程不需要去檢查IO操作的狀態(tài)盖呼,也不需要主動(dòng)的去拷貝數(shù)據(jù)。
三化撕、 I/O 多路復(fù)用之select几晤、poll、epoll
select植阴,poll锌仅,epoll都是IO多路復(fù)用的機(jī)制章钾。I/O多路復(fù)用就是通過(guò)一種機(jī)制,一個(gè)進(jìn)程可以監(jiān)視多個(gè)描述符热芹,一旦某個(gè)描述符就緒(一般是讀就緒或者寫(xiě)就緒)贱傀,能夠通知程序進(jìn)行相應(yīng)的讀寫(xiě)操作。但select伊脓,poll府寒,epoll本質(zhì)上都是同步I/O,因?yàn)樗麄兌夹枰谧x寫(xiě)事件就緒后自己負(fù)責(zé)進(jìn)行讀寫(xiě)报腔,也就是說(shuō)這個(gè)讀寫(xiě)過(guò)程是阻塞的株搔,而異步I/O則無(wú)需自己負(fù)責(zé)進(jìn)行讀寫(xiě),異步I/O的實(shí)現(xiàn)會(huì)包括把數(shù)據(jù)從內(nèi)核拷貝到用戶空間纯蛾。
select
int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
select 函數(shù)監(jiān)視的文件描述符分3類纤房,分別是writefds、readfds翻诉、和exceptfds炮姨。調(diào)用后select函數(shù)會(huì)阻塞,直到有描述符就緒(有數(shù)據(jù) 可讀碰煌、可寫(xiě)舒岸、或者有except),或者超時(shí)(timeout指定等待時(shí)間芦圾,如果立即返回設(shè)為null即可)蛾派,函數(shù)返回。當(dāng)select函數(shù)返回后个少,可以 通過(guò)遍歷fdset洪乍,來(lái)找到就緒的描述符。
select目前幾乎在所有的平臺(tái)上支持夜焦,其良好跨平臺(tái)支持也是它的一個(gè)優(yōu)點(diǎn)壳澳。select的一 個(gè)缺點(diǎn)在于單個(gè)進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在最大限制,在Linux上一般為1024糊探,可以通過(guò)修改宏定義甚至重新編譯內(nèi)核的方式提升這一限制,但 是這樣也會(huì)造成效率的降低河闰。
poll
int poll (struct pollfd *fds, unsigned int nfds, int timeout);
不同與select使用三個(gè)位圖來(lái)表示三個(gè)fdset的方式科平,poll使用一個(gè) pollfd的指針實(shí)現(xiàn)。
struct pollfd { int fd; /* file descriptor */ short events; /* requested events to watch */ short revents; /* returned events witnessed */ };
pollfd結(jié)構(gòu)包含了要監(jiān)視的event和發(fā)生的event姜性,不再使用select“參數(shù)-值”傳遞的方式瞪慧。同時(shí),pollfd并沒(méi)有最大數(shù)量限制(但是數(shù)量過(guò)大后性能也是會(huì)下降)部念。 和select函數(shù)一樣弃酌,poll返回后氨菇,需要輪詢pollfd來(lái)獲取就緒的描述符。
從上面看妓湘,select和poll都需要在返回后查蓉,通過(guò)遍歷文件描述符來(lái)獲取已經(jīng)就緒的socket。事實(shí)上榜贴,同時(shí)連接的大量客戶端在同一時(shí)刻可能只有很少處于就緒的狀態(tài)豌研,因此隨著監(jiān)視的描述符數(shù)量的增長(zhǎng),其效率也會(huì)線性下降唬党。
epoll
epoll是在2.6內(nèi)核中提出的鹃共,是之前的select和poll的增強(qiáng)版本。相對(duì)于select和poll來(lái)說(shuō)驶拱,epoll更加靈活霜浴,沒(méi)有描述符限制。epoll使用一個(gè)文件描述符管理多個(gè)描述符蓝纲,將用戶關(guān)系的文件描述符的事件存放到內(nèi)核的一個(gè)事件表中阴孟,這樣在用戶空間和內(nèi)核空間的copy只需一次。
四驻龟、epoll詳解
epoll操作過(guò)程
epoll操作過(guò)程需要三個(gè)接口温眉,分別如下:
//創(chuàng)建一個(gè)epoll的句柄,size用來(lái)告訴內(nèi)核這個(gè)監(jiān)聽(tīng)的數(shù)目一共有多大 int epoll_create(int size)翁狐; int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)类溢; int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
int epoll_create(int size);
創(chuàng)建一個(gè)epoll的句柄,size用來(lái)告訴內(nèi)核這個(gè)監(jiān)聽(tīng)的數(shù)目一共有多大露懒,這個(gè)參數(shù)不同于select()中的第一個(gè)參數(shù)闯冷,給出最大監(jiān)聽(tīng)的fd+1的值,參數(shù)size并不是限制了epoll所能監(jiān)聽(tīng)的描述符最大個(gè)數(shù)懈词,只是對(duì)內(nèi)核初始分配內(nèi)部數(shù)據(jù)結(jié)構(gòu)的一個(gè)建議蛇耀。
當(dāng)創(chuàng)建好epoll句柄后,它就會(huì)占用一個(gè)fd值坎弯,在linux下如果查看/proc/進(jìn)程id/fd/纺涤,是能夠看到這個(gè)fd的,所以在使用完epoll后抠忘,必須調(diào)用close()關(guān)閉撩炊,否則可能導(dǎo)致fd被耗盡。
*int epoll_ctl(int epfd, int op, int fd, struct epoll_event event)崎脉;
函數(shù)是對(duì)指定描述符fd執(zhí)行op操作拧咳。
- epfd:是epoll_create()的返回值。
- op:表示op操作囚灼,用三個(gè)宏來(lái)表示:添加EPOLL_CTL_ADD骆膝,刪除EPOLL_CTL_DEL祭衩,修改EPOLL_CTL_MOD。分別添加阅签、刪除和修改對(duì)fd的監(jiān)聽(tīng)事件掐暮。
- fd:是需要監(jiān)聽(tīng)的fd(文件描述符)
- epoll_event:是告訴內(nèi)核需要監(jiān)聽(tīng)什么事,struct epoll_event結(jié)構(gòu)如下:
struct epoll_event { __uint32_t events; /* Epoll events */ epoll_data_t data; /* User data variable */ };
events可以是以下幾個(gè)宏的集合:
EPOLLIN :表示對(duì)應(yīng)的文件描述符可以讀(包括對(duì)端SOCKET正常關(guān)閉)愉择; EPOLLOUT:表示對(duì)應(yīng)的文件描述符可以寫(xiě)劫乱; EPOLLPRI:表示對(duì)應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀(這里應(yīng)該表示有帶外數(shù)據(jù)到來(lái)); EPOLLERR:表示對(duì)應(yīng)的文件描述符發(fā)生錯(cuò)誤锥涕; EPOLLHUP:表示對(duì)應(yīng)的文件描述符被掛斷衷戈; EPOLLET: 將EPOLL設(shè)為邊緣觸發(fā)(Edge Triggered)模式,這是相對(duì)于水平觸發(fā)(Level Triggered)來(lái)說(shuō)的层坠。 EPOLLONESHOT:只監(jiān)聽(tīng)一次事件殖妇,當(dāng)監(jiān)聽(tīng)完這次事件之后,如果還需要繼續(xù)監(jiān)聽(tīng)這個(gè)socket的話破花,需要再次把這個(gè)socket加入到EPOLL隊(duì)列里
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
等待epfd上的io事件谦趣,最多返回maxevents個(gè)事件。
參數(shù)events用來(lái)從內(nèi)核得到事件的集合座每,maxevents告之內(nèi)核這個(gè)events有多大前鹅,這個(gè)maxevents的值不能大于創(chuàng)建epoll_create()時(shí)的size,參數(shù)timeout是超時(shí)時(shí)間(毫秒峭梳,0會(huì)立即返回舰绘,-1將不確定,也有說(shuō)法說(shuō)是永久阻塞)葱椭。該函數(shù)返回需要處理的事件數(shù)目捂寿,如返回0表示已超時(shí)。
epoll工作模式
epoll對(duì)文件描述符的操作有兩種模式:LT(level trigger)和ET(edge trigger)孵运。LT模式是默認(rèn)模式秦陋,LT模式與ET模式的區(qū)別如下:
- LT模式:當(dāng)epoll_wait檢測(cè)到描述符事件發(fā)生并將此事件通知應(yīng)用程序,應(yīng)用程序可以不立即處理該事件治笨。下次調(diào)用epoll_wait時(shí)驳概,會(huì)再次響應(yīng)應(yīng)用程序并通知此事件。
- ET模式:當(dāng)epoll_wait檢測(cè)到描述符事件發(fā)生并將此事件通知應(yīng)用程序旷赖,應(yīng)用程序必須立即處理該事件顺又。如果不處理,下次調(diào)用epoll_wait時(shí)杠愧,不會(huì)再次響應(yīng)應(yīng)用程序并通知此事件待榔。
LT模式
LT(level triggered)是缺省的工作方式逞壁,并且同時(shí)支持block和no-block socket.在這種做法中流济,內(nèi)核告訴你一個(gè)文件描述符是否就緒了锐锣,然后你可以對(duì)這個(gè)就緒的fd進(jìn)行IO操作。如果你不作任何操作绳瘟,內(nèi)核還是會(huì)繼續(xù)通知你的雕憔。
ET模式
ET(edge-triggered)是高速工作方式,只支持no-block socket糖声。在這種模式下斤彼,當(dāng)描述符從未就緒變?yōu)榫途w時(shí),內(nèi)核通過(guò)epoll告訴你蘸泻。然后它會(huì)假設(shè)你知道文件描述符已經(jīng)就緒琉苇,并且不會(huì)再為那個(gè)文件描述符發(fā)送更多的就緒通知,直到你做了某些操作導(dǎo)致那個(gè)文件描述符不再為就緒狀態(tài)了(比如悦施,你在發(fā)送并扇,接收或者接收請(qǐng)求,或者發(fā)送接收的數(shù)據(jù)少于一定量時(shí)導(dǎo)致了一個(gè)EWOULDBLOCK 錯(cuò)誤)抡诞。但是請(qǐng)注意穷蛹,如果一直不對(duì)這個(gè)fd作IO操作(從而導(dǎo)致它再次變成未就緒),內(nèi)核不會(huì)發(fā)送更多的通知(only once)
ET模式在很大程度上減少了epoll事件被重復(fù)觸發(fā)的次數(shù)昼汗,因此效率要比LT模式高肴熏。epoll工作在ET模式的時(shí)候,必須使用非阻塞套接口顷窒,以避免由于一個(gè)文件句柄的阻塞讀/阻塞寫(xiě)操作把處理多個(gè)文件描述符的任務(wù)餓死蛙吏。
epoll工作模式總結(jié)
假如有這樣一個(gè)例子:
- 我們已經(jīng)把一個(gè)用來(lái)從管道中讀取數(shù)據(jù)的文件句柄(RFD)添加到epoll描述符
- 這個(gè)時(shí)候從管道的另一端被寫(xiě)入了2KB的數(shù)據(jù)
- 調(diào)用epoll_wait(2),并且它會(huì)返回RFD蹋肮,說(shuō)明它已經(jīng)準(zhǔn)備好讀取操作
- 然后我們讀取了1KB的數(shù)據(jù)
- 調(diào)用epoll_wait(2)……
LT模式:
如果是LT模式出刷,那么在第5步調(diào)用epoll_wait(2)之后,仍然能受到通知坯辩。
ET模式:
如果我們?cè)诘?步將RFD添加到epoll描述符的時(shí)候使用了EPOLLET標(biāo)志馁龟,那么在第5步調(diào)用epoll_wait(2)之后將有可能會(huì)掛起,因?yàn)槭S嗟臄?shù)據(jù)還存在于文件的輸入緩沖區(qū)內(nèi)漆魔,而且數(shù)據(jù)發(fā)出端還在等待一個(gè)針對(duì)已經(jīng)發(fā)出數(shù)據(jù)的反饋信息坷檩。只有在監(jiān)視的文件句柄上發(fā)生了某個(gè)事件的時(shí)候 ET 工作模式才會(huì)匯報(bào)事件。因此在第5步的時(shí)候改抡,調(diào)用者可能會(huì)放棄等待仍在存在于文件輸入緩沖區(qū)內(nèi)的剩余數(shù)據(jù)矢炼。
當(dāng)使用epoll的ET模型來(lái)工作時(shí),當(dāng)產(chǎn)生了一個(gè)EPOLLIN事件后阿纤,讀數(shù)據(jù)的時(shí)候需要考慮的是當(dāng)recv()返回的大小如果等于請(qǐng)求的大小句灌,那么很有可能是緩沖區(qū)還有數(shù)據(jù)未讀完,也意味著該次事件還沒(méi)有處理完,所以還需要再次讀取
Linux中的EAGAIN含義
Linux環(huán)境下開(kāi)發(fā)經(jīng)常會(huì)碰到很多錯(cuò)誤(設(shè)置errno)胰锌,其中EAGAIN是其中比較常見(jiàn)的一個(gè)錯(cuò)誤(比如用在非阻塞操作中)骗绕。
從字面上來(lái)看,是提示再試一次资昧。這個(gè)錯(cuò)誤經(jīng)常出現(xiàn)在當(dāng)應(yīng)用程序進(jìn)行一些非阻塞(non-blocking)操作(對(duì)文件或socket)的時(shí)候酬土。
例如,以 O_NONBLOCK的標(biāo)志打開(kāi)文件/socket/FIFO格带,如果你連續(xù)做read操作而沒(méi)有數(shù)據(jù)可讀撤缴。此時(shí)程序不會(huì)阻塞起來(lái)等待數(shù)據(jù)準(zhǔn)備就緒返回,read函數(shù)會(huì)返回一個(gè)錯(cuò)誤EAGAIN叽唱,提示你的應(yīng)用程序現(xiàn)在沒(méi)有數(shù)據(jù)可讀請(qǐng)稍后再試屈呕。
又例如,當(dāng)一個(gè)系統(tǒng)調(diào)用(比如fork)因?yàn)闆](méi)有足夠的資源(比如虛擬內(nèi)存)而執(zhí)行失敗棺亭,返回EAGAIN提示其再調(diào)用一次(也許下次就能成功)凉袱。
epoll總結(jié)
在 select/poll中,進(jìn)程只有在調(diào)用一定的方法后侦铜,內(nèi)核才對(duì)所有監(jiān)視的文件描述符進(jìn)行掃描专甩,而epoll事先通過(guò)epoll_ctl()來(lái)注冊(cè)一 個(gè)文件描述符,一旦基于某個(gè)文件描述符就緒時(shí)钉稍,內(nèi)核會(huì)采用類似callback的回調(diào)機(jī)制涤躲,迅速激活這個(gè)文件描述符,當(dāng)進(jìn)程調(diào)用epoll_wait() 時(shí)便得到通知贡未。(此處去掉了遍歷文件描述符种樱,而是通過(guò)監(jiān)聽(tīng)回調(diào)的的機(jī)制。這正是epoll的魅力所在俊卤。)
epoll的優(yōu)點(diǎn)主要是以下幾個(gè)方面:
- 監(jiān)視的描述符數(shù)量不受限制它所支持的FD上限是最大可以打開(kāi)文件的數(shù)目嫩挤,這個(gè)數(shù)字一般遠(yuǎn)大于2048,舉個(gè)例子,在1GB內(nèi)存的機(jī)器上大約是10萬(wàn)左右,具體數(shù)目可以cat /proc/sys/fs/file-max察看,一般來(lái)說(shuō)這個(gè)數(shù)目和系統(tǒng)內(nèi)存關(guān)系很大消恍。select的最大缺點(diǎn)就是進(jìn)程打開(kāi)的fd是有數(shù)量限制的岂昭。這對(duì)于連接數(shù)量比較大的服務(wù)器來(lái)說(shuō)根本不能滿足。雖然也可以選擇多進(jìn)程的解決方案( Apache就是這樣實(shí)現(xiàn)的)狠怨,不過(guò)雖然linux上面創(chuàng)建進(jìn)程的代價(jià)比較小约啊,但仍舊是不可忽視的,加上進(jìn)程間數(shù)據(jù)同步遠(yuǎn)比不上線程間同步的高效佣赖,所以也不是一種完美的方案恰矩。
IO的效率不會(huì)隨著監(jiān)視fd的數(shù)量的增長(zhǎng)而下降。epoll不同于select和poll輪詢的方式憎蛤,而是通過(guò)每個(gè)fd定義的回調(diào)函數(shù)來(lái)實(shí)現(xiàn)的外傅。只有就緒的fd才會(huì)執(zhí)行回調(diào)函數(shù)。 - 如果沒(méi)有大量的idle-connection或者dead-connection,epoll的效率并不會(huì)比select/poll高很多萎胰,但是當(dāng)遇到大量的idle-connection彬碱,就會(huì)發(fā)現(xiàn)epoll的效率大大高于select/poll。