Linux背景
流:阻塞模式您机、非阻塞模式
R/W方式演進(jìn):
[流在阻塞模式]
通過I/O事件來同步寫入和讀取進(jìn)程
[非阻塞忙輪詢]
流切換為非阻塞模式统扳。
缺點(diǎn):如果所有的流都沒有數(shù)據(jù),那么只會白白浪費(fèi)CPU。
[非阻塞輪詢]
引入select/poll代理來監(jiān)聽I/O事件厚者。
在空閑的時候窥岩,會把當(dāng)前線程阻塞掉税课,當(dāng)有一個或多個流有I/O事件時俱萍,就從阻塞態(tài)中醒來端壳,于是我們的程序就會輪詢一遍所有的流。
缺點(diǎn):O(n)的無差別輪詢復(fù)雜度枪蘑。處理的流越多损谦,無差別輪詢時間就越長。
[epoll] NIO
epoll會把哪個流發(fā)生了怎樣的I/O事件通知我們岳颇。
復(fù)雜度降低到了O(1)照捡。
http://www.importnew.com/24794.html
BIO NIO AIO
BIO : 同步并阻塞,服務(wù)器實(shí)現(xiàn)模式為一個連接一個線程
NIO : 同步非阻塞话侧,服務(wù)器實(shí)現(xiàn)模式為一個請求一個線程
AIO:異步非阻塞麻敌,服務(wù)器實(shí)現(xiàn)模式為一個有效請求一個線程,客戶端的I/O請求都是由OS先完成了再通知服務(wù)器應(yīng)用去啟動線程進(jìn)行處理
https://blog.csdn.net/skiof007/article/details/52873421
幾種線程職責(zé)(實(shí)際中可能1個線程有多個職責(zé))
- 處理accept事件Thread
- IO Thread:負(fù)責(zé)R/W數(shù)據(jù)
- Data Handler Thread:負(fù)責(zé)對數(shù)據(jù)進(jìn)一步處理
一般的處理流程
- Socket連接請求事件(accept)處理
- 等待客戶端數(shù)據(jù)就緒
- R/W 操作
- handle data
首先要明確一點(diǎn):一次客戶端連接周期中掂摔,是可以有多次的請求
。BIO與NIO的區(qū)別不是在于對于socket連接請求事件處理
這步的處理上赢赊,而是在于等待客戶端數(shù)據(jù)就緒
這步:
BIO的
阻塞
與NIO的非阻塞
體現(xiàn)在IO Thread R/W socket
上:
BIO而言乙漓,在該IO Thread
對socket的就緒狀態(tài)獲取方式是阻塞的。例如讀取時释移,reader.readLine()
包含了就緒狀態(tài)獲取和數(shù)據(jù)讀取2步叭披,如果沒有就緒則一直處理線程是阻塞
NIO而言,selector.selectedKeys()
獲取有注冊事件到達(dá)的channel(具體實(shí)現(xiàn)通過Linux的select/epoll)玩讳,IO Thread
處理的都是就緒狀態(tài)的socket(因此IO Thread
可以非阻塞
讀取數(shù)據(jù))推薦結(jié)合代碼看看涩蜘。
NIO一個重要的特點(diǎn)是:socket主要的讀、寫熏纯、注冊和接收函數(shù)同诫,在等待就緒階段都是非阻塞的,真正的I/O操作是同步阻塞的(消耗CPU但性能非常高)樟澜。
NIO是一種同步非阻塞的I/O模型误窖,也是I/O多路復(fù)用的基礎(chǔ)。
http://www.reibang.com/p/1ccbc6a348db
在理解了NIO的基礎(chǔ)上秩贰,看AIO霹俺,區(qū)別在于AIO是等讀寫過程完成后再去調(diào)用回調(diào)函數(shù)。
NIO是同步非阻塞的
(同步指的是netty通過select/poll
向IO查詢數(shù)據(jù)包是否到達(dá))
AIO是異步非阻塞的
(異步指的是操作系統(tǒng)通知進(jìn)程毒费,數(shù)據(jù)包被復(fù)制到哪個內(nèi)存區(qū)域丙唧,去讀取)
https://my.oschina.net/hosee/blog/615269
I/O流 vs Buffer
基于buffer
傳統(tǒng)的I/O是面向字節(jié)流或字符流的觅玻,以流式的方式順序地從一個Stream 中讀取一個或多個字節(jié), 因此也就不能隨意改變讀取指針的位置想际。在NIO中, 拋棄了傳統(tǒng)的 I/O流, 而是引入了Channel 和 Buffer的概念. 在NIO中, 只能從Channel中讀取數(shù)據(jù)到Buffer中或?qū)?shù)據(jù) Buffer 中寫入到 Channel培漏。
基于buffer操作不像傳統(tǒng)IO的順序操作, NIO 中可以隨意地讀取任意位置的數(shù)據(jù)
https://juejin.im/post/5bea1d2e51882523d3163657
事件分發(fā)器模式
事件分發(fā)器的兩種模式稱為:Reactor和Proactor。
Reactor模式是基于同步I/O的沼琉,而Proactor模式是基于異步I/O的北苟。
http://www.reibang.com/p/1ccbc6a348dbReactor模型有3個變種:
- 單Reactor單線程
- 單Reactor多線程
- 主從Reactor多線程
特別說明的是: 雖然Netty的線程模型基于
主從Reactor多線程
,借用了MainReactor和SubReactor的結(jié)構(gòu)打瘪,但是實(shí)際實(shí)現(xiàn)上友鼻,SubReactor和Worker線程在同一個線程池中。
https://juejin.im/post/5bea1d2e51882523d3163657
http://www.reibang.com/p/1ccbc6a348db
Netty 與 Reactor模式對應(yīng)
結(jié)構(gòu)對應(yīng):
NioEventLoop ———— Initiation Dispatcher
Selector ———— Synchronous EventDemultiplexer
ChannelHandler ———— Event Handler
具體的ChannelHandler的實(shí)現(xiàn) ———— ConcreteEventHandler模式對應(yīng):
Netty服務(wù)端使用了多Reactor線程模式
mainReactor ———— bossGroup(NioEventLoopGroup) 中的某個NioEventLoop
subReactor ———— workerGroup(NioEventLoopGroup) 中的某個NioEventLoop
acceptor ———— ServerBootstrapAcceptor
ThreadPool ———— 用戶自定義線程池
http://www.reibang.com/p/1ccbc6a348db
Netty
https://juejin.im/post/5bea1d2e51882523d3163657
總結(jié):
1個
NioEventLoopGroup
包含多個NioEventLoop
;每個
NioEventLoop
有屬于自己的1個Selector
和1個taskQueue
Boss Group
包含1個NioEventLoopGroup
闺骚;Worker Group
可以包含多個NioEventLoopGroup
彩扔;(修正)
NioEventGroup
應(yīng)寫為NioEventLoopGroup
有個問題:數(shù)據(jù)怎么寫回客戶端
A: 實(shí)際上當(dāng)客戶機(jī)有消息發(fā)送過來時會調(diào)用channelRead0(ChannelHandlerContext ctx, String msg)
這個方法,處理完發(fā)來的數(shù)據(jù)后直接向channel(ChannelHandlerContext ctx
)寫回即可
http://www.reibang.com/p/222fe9f2a564
Summary
- 無論什么情況僻爽,read/write操作本身都是‘阻塞’的虫碉。阻塞/非阻塞區(qū)別在于read/write操作之前的就緒狀態(tài)是如何得到的
- NIO是一種同步非阻塞的I/O模型。Netty基于NIO
Main Ref
http://www.reibang.com/p/1ccbc6a348db
https://juejin.im/post/5bea1d2e51882523d3163657
https://blog.zhenlanghuo.top/2017/05/21/IO%E4%B8%AD%E7%9A%84%E5%90%8C%E6%AD%A5%E5%BC%82%E6%AD%A5%E3%80%81%E9%98%BB%E5%A1%9E%E9%9D%9E%E9%98%BB%E5%A1%9E/
Netty源碼(占小狼):
http://www.reibang.com/p/e577803f0fb8
http://www.reibang.com/p/6b48196b5043
http://www.reibang.com/p/1ad424c53e80