[Java] I/O:BIO, NIO, AIO

1. Java的I/O發(fā)展簡史

1.1 JDK 1.0 到 JDK 1.3

Java的I/O類庫都非常原始,很多UNIX網(wǎng)絡(luò)編程中的概念或者接口在I/O類庫中都沒有體現(xiàn)竭望。

1.2 JDK 1.4

2002年發(fā)布JDK 1.4時屡律,NIO以JSR-51的身份正式隨JDK發(fā)布。
它新增了java.nio包,提供了很多進行異步I/O開發(fā)的API和類庫产捞。

1.3 JDK 1.7

2011年7月28日,JDK 1.7 正式發(fā)布哼御。
它的一個比較大的亮點是將原來的NIO類庫進行了升級坯临,被稱為NIO 2.0焊唬。
NIO 2.0由JSR-203演進而來。

2. 傳統(tǒng)的BIO編程

網(wǎng)絡(luò)編程的基本模型是Client/Server模型看靠,也就是兩個進行之間進行相互通信赶促,
其中服務(wù)端提供位置信息(綁定的IP地址和監(jiān)聽端口),客戶端通過連接操作向服務(wù)器監(jiān)聽的地址發(fā)起連接請求挟炬。
通過三次握手建立連接鸥滨,如果連接建立成功,雙方就可以通過網(wǎng)絡(luò)套接字(Socket)進行通信谤祖。

2.1 Server

TimeServer.java

int port = 8080;
server = new ServerSocket(port);  // The time server is started in port 8080

Socket socket = null;
while (true) {
    socket = server.accept();  // 阻塞
    new Thread(new TimeServerHandler(socket)).start();
}

2.2 Client

TimeClient.java

socket = new Socket("127.0.0.1", port);

in = new BufferedReader(new InputStreamReader(socket.getInputStream()));
out = new PrintWriter(socket.getOutputStream(), true);

out.println("QUERY TIME ORDER");  // Send order 2 server succeed.

String resp = in.readLine();
System.out.println("Now is : " + resp);

分析

BIO主要的問題在于每當(dāng)有一個新的客戶端請求接入時婿滓,
服務(wù)端必須創(chuàng)建一個新的線程處理新接入的客戶端鏈路,
一個線程只能處理一個客戶端連接粥喜。

在高性能服務(wù)器應(yīng)用領(lǐng)域凸主,往往需要面向成千上萬個客戶端的并發(fā)連接,
這種模型顯然無法滿足高性能容客,高并發(fā)接入的場景秕铛。

3. 偽異步I/O模型

為了解決同步阻塞I/O面臨的一個鏈路需要一個線程處理的問題,
后來有人對它的線程模型進行了優(yōu)化缩挑,
后端通過一個線程池來處理多個客戶端的請求接入但两。

通過線程池可以靈活的調(diào)配線程資源,設(shè)置線程的最大值供置,防止由于海量并發(fā)接入導(dǎo)致線程耗盡谨湘。

Server

TimeServer.java

int port = 8080;
ServerSocket server = new ServerSocket(port);  // The time server is start in port 8080

Socket socket = null;
TimeServerHandlerExecutePool singleExecutor = new TimeServerHandlerExecutePool(50, 10000);  // 創(chuàng)建IO任務(wù)線程池

while (true) {
    socket = server.accept();  // 阻塞
    singleExecutor.execute(new TimeServerHandler(socket));
}

分析

偽異步I/O通信框架采用了線程池實現(xiàn),因此避免了為每個請求都創(chuàng)建一個獨立線程造成的線程資源耗盡問題芥丧。
但是由于它底層的通信依然采用同步阻塞模型紧阔,因此無法從根本上解決問題。

4. NIO

Java NIO實現(xiàn)了UNIX網(wǎng)絡(luò)編程中的I/O復(fù)用模型续担,
一個多路復(fù)用器Selector可以同時輪詢多個Channel擅耽,
由于JDK使用了epoll()代替?zhèn)鹘y(tǒng)的select實現(xiàn),所以它并沒有最大連接句柄1024/2048的限制物遇。
這就意味著只需要一個線程負責(zé)Selector輪詢乖仇,就可以接入成千上萬的客戶端,這確實是個非常巨大的進步询兴。

4.1 Server

TimeServer.java

int port = 8080;
MultiplexerTimeServer timeServer = new MultiplexerTimeServer(port);
new Thread(timeServer, "NIO-MultiplexerTimeServer-001").start();

MultiplexerTimeServer.java

// 構(gòu)造函數(shù)

public MultiplexerTimeServer(int port) {
    selector = Selector.open();

    servChannel = ServerSocketChannel.open();
    servChannel.configureBlocking(false);  // 非阻塞方式
    servChannel.socket().bind(new InetSocketAddress(port), 1024);
    servChannel.register(selector, SelectionKey.OP_ACCEPT);  // 監(jiān)聽 接收就緒 事件
}
// run 方法

@Override
public void run() {
    white(!stop) {
        selector.select(1000);  // 休眠1s乃沙,Selector每隔一秒被喚醒一次
        Set<SelectionKey> selectedKeys = selector.selectedKeys();
        Iterator<SelectionKey> it = selectedKeys.iterator();
        SelectionKey key = null;

        while (it.hasNext()) {
            key = it.next();
            it.remove();

            handleInput(key);
        }
    }    
}
// handleInput 方法

private void handleInput(SelectionKey key) throws IOException {

    // 如果發(fā)生了接收就緒事件,就給Selector添加一個讀就緒的監(jiān)聽
    if (key.isAcceptable()) {
        ServerSocketChannel ssc = (ServerSocketChannel) key.channel();
        SocketChannel sc = ssc.accept();
        sc.configureBlocking(false);
        sc.register(selector, SelectionKey.OP_READ);  // 監(jiān)聽 讀就緒 事件
    }

    // 如果發(fā)生了讀就緒事件
    if (key.isReadable()) {
        SocketChannel sc = (SocketChannel) key.channel();
        ByteBuffer readBuffer = ByteBuffer.allocate(1024);
        int readBytes = sc.read(readBuffer);
        ...
    }
}

4.2 Client

TimeClient.java

int port = 8080;
new Thread(new TimeClientHandle("127.0.0.1", port), "TimeClient-001").start();

TimeClientHandle.java

// 構(gòu)造函數(shù)

public TimeClientHandle(String host, int port) {
    selector = Selector.open();
    socketChannel = SocketChannel.open();
    socketChannel.configureBlocking(false);
}
// run 方法

@Override
public void run() {
    if (socketChannel.connect(new InetSocketAddress(host, port))) {
        socketChannel.register(selector, SelectionKey.OP_READ);  // 監(jiān)聽 讀就緒 事件
        doWrite(socketChannel);
    } else {
        socketChannel.register(selector, SelectionKey.OP_CONNECT);  // 監(jiān)聽 連接就緒 事件
    }

    white(!stop) {
        selector.select(1000);  // 休眠1s诗舰,Selector每隔一秒被喚醒一次
        Set<SelectionKey> selectedKeys = selector.selectedKeys();
        Iterator<SelectionKey> it = selectedKeys.iterator();
        SelectionKey key = null;

        while (it.hasNext()) {
            key = it.next();
            it.remove();
            handleInput(key);
        }
    }    
}

5. AIO

NIO 2.0引入了新的異步通道的概念警儒,并提供了異步文件通道和異步套接字通信的實現(xiàn)。

NIO 2.0的異步套接字通道是真正的異步非阻塞I/O眶根,對應(yīng)于UNIX網(wǎng)絡(luò)編程中的事件驅(qū)動I/O(AIO)蜀铲。
它不需要通過多路復(fù)用器(Selector)對注冊的通道進行輪詢操作即可實現(xiàn)異步讀寫边琉。
從而簡化了NIO的編程模型。

5.1 Server

TimeServer.java

int port = 8080;
AsyncTimeServerHandler timeServer = new AsyncTimeServerHandler(port);
new Thread(timeServer, "AIO-AsyncTimeServerHandler-001").start();

AsyncTimeServerHandler.java

// 構(gòu)造函數(shù)

public AsyncTimeServerHandler(int port) {
    asynchronousServerSocketChannel = AsynchronousServerSocketChannel.open();
    asynchronousServerSocketChannel.bind(new InetSocketAddress(port));  // The time server is start in port 8080
}
// run 方法

@Override
public void run() {
    latch = new CountDownLatch(1);
    asynchronousServerSocketChannel.accept(this, new AcceptCompletionHandler());
    latch.await();
}

AcceptCompletionHandler.java

// AcceptCompletionHandler

public class AcceptCompletionHandler implements CompletionHandler<AsynchronousSocketChannel, AsyncTimeServerHandler> {

    @Override
    public void completed(AsynchronousSocketChannel result, AsyncTimeServerHandler attachment) {
        attachment.asynchronousServerSocketChannel.accept(attachment, this);
        ByteBuffer buffer = ByteBuffer.allocate(1024);
        result.read(buffer, buffer, new ReadCompletionHandler(result));
    }

    @Override
    public void failed(Throwable exc, AsyncTimeServerHandler attachment) {
        exc.printStackTrace();
        attachment.latch.countDown();
    }
}

5.2 Client

TimeClient.java

int port = 8080;
new Thread(new AsyncTimeClientHandler("127.0.0.1", port), "AIO-AsyncTimeClientHandler-001").start();

AsyncTimeClientHandler.java

// 構(gòu)造函數(shù)
public AsyncTimeClientHandler(String host, int port) {
    client = AsynchronousSocketChannel.open();
}
// run 方法

@Override
public void run() {
    latch = new CountDownLatch(1);
    client.connect(new InetSocketAddress(host, port), this, this);
    latch.await();
}
// completed 方法

public void completed(Void result, AsyncTimeClientHandler attachment) {
    ...

    client.write(writeBuffer, writeBuffer, new CompletionHandler<Integer, ByteBuffer>() {

        @Override
        public void completed(Integer result, ByteBuffer buffer) {
            ...

            client.read(readBuffer, readBuffer, new CompletionHandler<Integer, ByteBuffer>() {
                @Override
                public void completed(Integer result, ByteBuffer buffer) {
                    ...
                }

                @Override
                public void failed(Throwable exc, ByteBuffer attachment) {
                    ...
                }
            });
        }

        @Override
        public void failed(Throwable exc, ByteBuffer attachment) {
            ...
        }
    });
}

6. 4種I/O對比

6.1 異步非阻塞I/O

很多人喜歡將JDK 1.4提供的NIO框架稱為異步非阻塞I/O蝙茶,
但是艺骂,如果嚴格按照UNIX網(wǎng)絡(luò)編程模型和JDK的實現(xiàn)進行區(qū)分,實際上它只能被稱為非阻塞I/O隆夯,
不能叫異步非阻塞I/O钳恕。

在早期的JDK 1.4和1.5 update10 版本之前,JDK的Selector基于select/poll模型實現(xiàn)蹄衷,
它是基于I/O復(fù)用技術(shù)的非阻塞I/O忧额,不是異步I/O。

在JDK 1.5 update10 和Linux core2.6 以上版本愧口,Sun優(yōu)化了Selector的實現(xiàn)睦番,
它在底層使用epoll替換了select/poll,上層的API沒有變化耍属,
可以認為是JDK NIO的一次性能優(yōu)化,但是它仍舊沒有改變I/O的模型厚骗。

由于JDK 1.7提供的NIO 2.0新增了異步套接字通信示启,它是真正的異步I/O,
在異步I/O操作的時候可以傳遞信號變量,當(dāng)操作完成之后回回調(diào)相關(guān)的方法排霉,異步I/O也被稱為AIO容燕。

6.2 多路復(fù)用器Selector

Java NIO的實現(xiàn)關(guān)鍵是多路復(fù)用I/O技術(shù)蘸秘,多路復(fù)用的核心就是通過Selector來輪詢注冊在其上的Channel官卡,
當(dāng)發(fā)現(xiàn)某個或者多個Channel處于就緒狀態(tài)后,從阻塞狀態(tài)返回就緒的Channel的選擇鍵集合醋虏,進行I/O操作寻咒。

6.3 偽異步I/O

偽異步I/O的概念完全來源于實踐,在JDK NIO編程沒有流行之前颈嚼,
為了解決Tomcat 通信線程同步I/O導(dǎo)致業(yè)務(wù)線程被掛住的問題毛秘,大家想到了一個辦法,
在通信線程和業(yè)務(wù)線程之間做個緩沖區(qū)阻课,這個緩沖區(qū)用于隔離I/O線程和業(yè)務(wù)線程間的直接訪問叫挟,
這樣業(yè)務(wù)線程就不會被I/O線程阻塞。

而對于后端的業(yè)務(wù)側(cè)來說限煞,將消息或者Task 放到線程池后就返回了抹恳,
它不再直接訪問I/O線程或者進行I/O讀寫,這樣也就不會被同步阻塞晰骑。

類似的設(shè)計還包括前端啟動一組線程适秩,將接受到的客戶端封裝成Task,
放到后端線程池執(zhí)行硕舆,用于解決一連接一線程問題秽荞。

對比

同步阻塞I/O(BIO) 偽異步I/O 非阻塞I/O(NIO) 異步I/O(AIO)
客戶端個數(shù):I/O線程 1:1 M:N(其中M可以大于N) M:1(1個I/O線程處理多個客戶端連接) M:0(不需要啟動額外的I/O線程,被動回調(diào))
I/O類型(阻塞) 阻塞 阻塞 非阻塞 非阻塞
I/O類型(同步) 同步 同步 同步(I/O多路復(fù)用) 異步
API使用難度 簡單 簡單 非常復(fù)雜 復(fù)雜
調(diào)試難度 簡單 簡單 復(fù)雜 復(fù)雜
可靠性 非常差
吞吐量

參考

Netty權(quán)威指南(第2版)p8-p60

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末抚官,一起剝皮案震驚了整個濱河市扬跋,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌凌节,老刑警劉巖钦听,帶你破解...
    沈念sama閱讀 216,843評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異倍奢,居然都是意外死亡朴上,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,538評論 3 392
  • 文/潘曉璐 我一進店門卒煞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來痪宰,“玉大人,你說我怎么就攤上這事∫虑耍” “怎么了乖订?”我有些...
    開封第一講書人閱讀 163,187評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長具练。 經(jīng)常有香客問我乍构,道長,這世上最難降的妖魔是什么扛点? 我笑而不...
    開封第一講書人閱讀 58,264評論 1 292
  • 正文 為了忘掉前任哥遮,我火速辦了婚禮,結(jié)果婚禮上占键,老公的妹妹穿的比我還像新娘昔善。我一直安慰自己,他們只是感情好畔乙,可當(dāng)我...
    茶點故事閱讀 67,289評論 6 390
  • 文/花漫 我一把揭開白布君仆。 她就那樣靜靜地躺著,像睡著了一般牲距。 火紅的嫁衣襯著肌膚如雪返咱。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,231評論 1 299
  • 那天牍鞠,我揣著相機與錄音咖摹,去河邊找鬼。 笑死难述,一個胖子當(dāng)著我的面吹牛萤晴,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播胁后,決...
    沈念sama閱讀 40,116評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼店读,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了攀芯?” 一聲冷哼從身側(cè)響起屯断,我...
    開封第一講書人閱讀 38,945評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎侣诺,沒想到半個月后殖演,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,367評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡年鸳,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,581評論 2 333
  • 正文 我和宋清朗相戀三年趴久,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片搔确。...
    茶點故事閱讀 39,754評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡彼棍,死狀恐怖已添,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情滥酥,我是刑警寧澤,帶...
    沈念sama閱讀 35,458評論 5 344
  • 正文 年R本政府宣布畦幢,位于F島的核電站坎吻,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏宇葱。R本人自食惡果不足惜瘦真,卻給世界環(huán)境...
    茶點故事閱讀 41,068評論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望黍瞧。 院中可真熱鬧诸尽,春花似錦、人聲如沸印颤。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,692評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽年局。三九已至际看,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間矢否,已是汗流浹背仲闽。 一陣腳步聲響...
    開封第一講書人閱讀 32,842評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留僵朗,地道東北人赖欣。 一個月前我還...
    沈念sama閱讀 47,797評論 2 369
  • 正文 我出身青樓,卻偏偏與公主長得像验庙,于是被迫代替她去往敵國和親顶吮。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,654評論 2 354