一劫瞳、閱前熱身
為了更加形象的說明同步異步呕童、阻塞非阻塞崔赌,我們以小明去買奶茶為例意蛀。
①同步與異步的理解
同步與異步的重點在消息通知的方式上峰鄙,也就是調(diào)用結(jié)果通知的方式。
同步
當一個同步調(diào)用發(fā)出去后太雨,調(diào)用者要一直等待調(diào)用結(jié)果的通知后吟榴,才能進行后續(xù)的執(zhí)行
異步:
當一個異步調(diào)用發(fā)出去后,調(diào)用者不能立即得到調(diào)用結(jié)果的返回囊扳。
異步調(diào)用吩翻,要想獲得結(jié)果,一般有兩種方式:
1锥咸、主動輪詢異步調(diào)用的結(jié)果;
2狭瞎、被調(diào)用方通過callback來通知調(diào)用方調(diào)用結(jié)果。
②:生活實例
同步買奶茶:小明點單交錢搏予,然后等著拿奶茶熊锭;
異步買奶茶:小明點單交錢,店員給小明一個小票,等小明奶茶做好了碗殷,再來取精绎。
異步買奶茶,小明要想知道奶茶是否做好了锌妻,有兩種方式:
1代乃、小明主動去問店員,一會就去問一下:“奶茶做好了嗎仿粹?”...直到奶茶做好搁吓。
2、等奶茶做好了吭历,店員喊一聲:“小明堕仔,奶茶好了!”毒涧,然后小明去取奶茶贮预。
①阻塞與非阻塞的理解
阻塞與非阻塞的重點在于進/線程等待消息時候的行為契讲,也就是在等待消息的時候仿吞,當前進/線程是掛起狀態(tài),還是非掛起狀態(tài)捡偏。
阻塞
阻塞調(diào)用在發(fā)出去后唤冈,在消息返回之前,當前進/線程會被掛起银伟,直到有消息返回你虹,當前進/線程才會被激活.
非阻塞
非阻塞調(diào)用在發(fā)出去后,不會阻塞當前進/線程彤避,而會立即返回傅物。
②:生活實例
阻塞買奶茶:小明點單交錢,干等著拿奶茶琉预,什么事都不做董饰;
非阻塞買奶茶:小明點單交錢,等著拿奶茶圆米,等的過程中卒暂,時不時刷刷微博、朋友圈...
通過上面的分析也祠,我們可以得知:
同步與異步,重點在于消息通知的方式;阻塞與非阻塞近速,重點在于等消息時候的行為诈嘿。
所以堪旧,就有了下面4種組合方式
同步阻塞:小明在柜臺干等著拿奶茶;
同步非阻塞:小明在柜臺邊刷微博邊等著拿奶茶永淌;
異步阻塞:小明拿著小票啥都不干崎场,一直等著店員通知他拿奶茶;
異步非阻塞:小明拿著小票遂蛀,刷著微博谭跨,等著店員通知他拿奶茶。
Apache處理一個請求是同步阻塞的模式谆扎。
每到達一個請求,Apache都會去fork一個子進程去處理這個請求芹助,直到這個請求處理完畢堂湖。
面對低并發(fā),這種模式?jīng)]什么缺點状土,但是无蜂,面對高并發(fā),就是這種模式的軟肋了蒙谓。
1個客戶端占用1個進程斥季,那么,進程數(shù)量有多少累驮,并發(fā)處理能力就有多少酣倾,但操作系統(tǒng)可以創(chuàng)建的進程數(shù)量是有限的。
多進程就會有進程間的切換問題谤专,而進程間的切換調(diào)度勢必會造成CPU的額外消耗躁锡。當進程數(shù)量達到成千上萬的時候,進程間的切換就占了CPU大部分的時間片置侍,而真正進程的執(zhí)行反而占了CPU的一小部分映之,這就得不償失了。
下面墅垮,舉例說明這2種場景是多進程模式的軟肋:
及時消息通知程序
比如及時聊天程序惕医,一臺服務(wù)器可能要維持數(shù)十萬的連接(典型的C10K問題)耕漱,那么就要啟動數(shù)十萬的進程來維持算色。這顯然不可能。
調(diào)用外部Http接口時
假設(shè)Apache啟動100個進程來處理請求螟够,每個請求消耗100ms灾梦,那么這100個進程能提供1000qps峡钓。
但是,在我們調(diào)用外部Http接口時若河,比如QQ登錄能岩、微博登錄,耗時較長萧福,假設(shè)一個請求消耗10s拉鹃,也就是1個進程1s處理0.1個請求,那么100個進程只能達到10qps鲫忍,這樣的處理能力就未免太差了膏燕。
注:什么是C10K問題?
網(wǎng)絡(luò)服務(wù)在處理數(shù)以萬計的客戶端連接時悟民,往往出現(xiàn)效率低下甚至完全癱瘓坝辫,這被稱為C10K問題。(concurrent 10000 connection)
綜上射亏,我們可以看出近忙,Apache是同步阻塞的多進程模式,面對高并發(fā)等一些場景智润,是很蒼白的及舍。
傳統(tǒng)的服務(wù)器模型就是這樣击纬,因為其同步阻塞的多進程模型,無法面對高并發(fā)钾麸。
那么更振,有沒有一種方式,可以讓我們在一個進程處理所有的并發(fā)I/O呢饭尝?
答案是有的肯腕,這就是I/O復用技術(shù)。
最初級的I/O復用
所謂的I/O復用,就是多個I/O可以復用一個進程涉瘾。
上面說的同步阻塞的多進程模型不適合處理高并發(fā)知态,那么,我們再來考慮非阻塞的方式立叛。
采用非阻塞的模式负敏,當一個連接過來時,我們不阻塞住秘蛇,這樣一個進程可以同時處理多個連接了其做。
比如一個進程接受了10000個連接顶考,這個進程每次從頭到尾的問一遍這10000個連接:“有I/O事件沒?有的話就交給我處理妖泄,沒有的話我一會再來問一遍驹沿。”
然后進程就一直從頭到尾問這10000個連接,如果這1000個連接都沒有I/O事件蹈胡,就會造成CPU的空轉(zhuǎn)渊季,并且效率也很低,不好不好罚渐。
升級版的I/O復用
上面雖然實現(xiàn)了基礎(chǔ)版的I/O復用梭域,但是效率太低了。于是偉大的程序猿們?nèi)账家瓜氲娜ソ鉀Q這個問題...終于搅轿!
我們能不能引入一個代理病涨,這個代理可以同時觀察許多I/O流事件呢?
當沒有I/O事件的時候璧坟,這個進程處于阻塞狀態(tài)既穆;當有I/O事件的時候,這個代理就去通知進程醒來雀鹃?
于是幻工,早期的程序猿們發(fā)明了兩個代理---select、poll黎茎。
select囊颅、poll代理的原理是這樣的:
當連接有I/O流事件產(chǎn)生的時候,就會去喚醒進程去處理傅瞻。
但是進程并不知道是哪個連接產(chǎn)生的I/O流事件踢代,于是進程就挨個去問:“請問是你有事要處理嗎?”......問了99999遍嗅骄,哦胳挎,原來是第100000個進程有事要處理溺森。那么,前面這99999次就白問了,白白浪費寶貴的CPU時間片了姥卢!痛哉,惜哉...
注:select與poll原理是一樣的括眠,只不過select只能觀察1024個連接,poll可以觀察無限個連接当船。
上面看了德频,select壹置、poll因為不知道哪個連接有I/O流事件要處理,性能也挺不好的难咕。
那么,如果發(fā)明一個代理咙冗,每次能夠知道哪個連接有了I/O流事件,不就可以避免無意義的空轉(zhuǎn)了嗎?
于是桑腮,超級無敵丛晦、閃閃發(fā)光的epoll被偉大的程序員發(fā)明出來了烫沙。
epoll代理的原理是這樣的:
當連接有I/O流事件產(chǎn)生的時候,epoll就會去告訴進程哪個連接有I/O流事件產(chǎn)生,然后進程就去處理這個進程。
如此昼捍,多高效!
有了epoll妒茬,理論上1個進程就可以無限數(shù)量的連接,而且無需輪詢蔚晨,真正解決了c10k的問題乍钻。
Nginx是基于epoll的,異步非阻塞的服務(wù)器程序铭腕。自然银择,Nginx能夠輕松處理百萬級的并發(fā)連接,也就無可厚非了累舷。
三浩考、swoole如何處理高并發(fā)以及異步I/O的實現(xiàn)
swoole是PHP的一個擴展被盈。
簡單理解:swoole=異步I/O+網(wǎng)絡(luò)通信
PHPer可以基于swoole去實現(xiàn)過去PHP無法實現(xiàn)的功能析孽。
具體請參考swoole官網(wǎng):swoole官網(wǎng)
IO復用異步非阻塞程序使用經(jīng)典的Reactor模型只怎,Reactor顧名思義就是反應堆的意思袜瞬,它本身不處理任何數(shù)據(jù)收發(fā)。只是可以監(jiān)視一個socket(也可以是管道身堡、eventfd邓尤、信號)句柄的事件變化。
注:什么是句柄?句柄英文為handler汞扎,可以形象的比喻為鍋柄季稳、勺柄。也就是資源的唯一標識符澈魄、資源的ID景鼠。通過這個ID可以操作資源。
Reactor只是一個事件發(fā)生器一忱,實際對socket句柄的操作,如connect/accept谭确、send/recv帘营、close是在callback中完成的。
swoole采用多線程Reactor+多進程Worker
swoole的架構(gòu)圖如下:
swoole的處理連接流程圖如下:
當請求到達時,swoole是這樣處理的:
請求到達 Main Reactor
|
? ? ? ? |
Main Reactor根據(jù)Reactor的情況逐哈,將請求注冊給對應的Reactor
(每個Reactor都有epoll芬迄。用來監(jiān)聽客戶端的變化)
|
? ? ? ? |
客戶端有變化時,交給worker來處理
|
? ? ? ? |
worker處理完畢昂秃,通過進程間通信(比如管道禀梳、共享內(nèi)存、消息隊列)發(fā)給對應的reactor肠骆。
|
? ? ? ? |
reactor將響應結(jié)果發(fā)給相應的連接
|
? ? ? ? |
? ? 請求處理完成
因為reactor基于epoll算途,所以每個reactor可以處理無數(shù)個連接請求。
如此蚀腿,swoole就輕松的處理了高并發(fā)嘴瓤。
基于上面的Swoole結(jié)構(gòu)圖莉钙,我們看到swoole的worker進程有2種類型:
一種是 普通的worker進程廓脆,一種是 task worker進程。
worker進程是用來處理普通的耗時不是太長的請求磁玉;
task worker進程用來處理耗時較長的請求停忿,比如數(shù)據(jù)庫的I/O操作。
我們以異步Mysql舉例:
耗時較長的Mysql查詢進入worker
|
? ? ? ? ? ? |
worker通過管道將這個請求交給taskworker來處理
|
? ? ? ? ? ? |
worker再去處理其他請求
|
? ? ? ? ? ? |
task worker處理完畢后蚊伞,處理結(jié)果通過管道返回給worker
|
? ? ? ? ? ? |
worker 將結(jié)果返回給reactor
|
? ? ? ? ? ? |
reactor將結(jié)果返回給請求方
如此席赂,通過worker、task worker結(jié)合的方式时迫,我們就實現(xiàn)了異步I/O氧枣。