微信公眾號【黃小斜】作者是螞蟻金服 JAVA 工程師薇缅,目前在螞蟻財富負責后端開發(fā)工作,專注于 JAVA 后端技術棧攒磨,同時也懂點投資理財泳桦,堅持學習和寫作,用大廠程序員的視角解讀技術與互聯(lián)網(wǎng)娩缰,我的世界里不只有 coding灸撰!關注公眾號后回復”架構師“即可領取 Java基礎、進階拼坎、項目和架構師等免費學習資料梧奢,更有數(shù)據(jù)庫、分布式演痒、微服務等熱門技術學習視頻亲轨,內(nèi)容豐富,兼顧原理和實踐鸟顺,另外也將贈送作者原創(chuàng)的Java學習指南惦蚊、Java程序員面試指南等干貨資源
作者:黃小斜
鏈接:https://www.imooc.com/article/291535
來源:慕課網(wǎng)
Java NIO:Buffer、Channel 和 Selector
轉自https://www.javadoop.com/post/nio-and-aio
本文將介紹 Java NIO 中三大組件 Buffer讯嫂、Channel蹦锋、Selector 的使用。
本來要一起介紹非阻塞 IO 和 JDK7 的異步 IO 的欧芽,不過因為之前的文章真的太長了莉掂,有點影響讀者閱讀,所以這里將它們放到另一篇文章中進行介紹千扔。
Buffer
一個 Buffer 本質(zhì)上是內(nèi)存中的一塊,我們可以將數(shù)據(jù)寫入這塊內(nèi)存厘唾,之后從這塊內(nèi)存獲取數(shù)據(jù)褥符。
java.nio 定義了以下幾個 Buffer 的實現(xiàn),這個圖讀者應該也在不少地方見過了吧抚垃。
其實核心是最后的 ByteBuffer喷楣,前面的一大串類只是包裝了一下它而已,我們使用最多的通常也是 ByteBuffer鹤树。
我們應該將 Buffer 理解為一個數(shù)組铣焊,IntBuffer、CharBuffer罕伯、DoubleBuffer 等分別對應 int[]粗截、char[]、double[] 等捣炬。
MappedByteBuffer 用于實現(xiàn)內(nèi)存映射文件,也不是本文關注的重點绽榛。
我覺得操作 Buffer 和操作數(shù)組湿酸、類集差不多,只不過大部分時候我們都把它放到了 NIO 的場景里面來使用而已灭美。下面介紹 Buffer 中的幾個重要屬性和幾個重要方法推溃。
position、limit届腐、capacity
就像數(shù)組有數(shù)組容量铁坎,每次訪問元素要指定下標,Buffer 中也有幾個重要屬性:position犁苏、limit硬萍、capacity。
最好理解的當然是 capacity围详,它代表這個緩沖區(qū)的容量朴乖,一旦設定就不可以更改。比如 capacity 為 1024 的 IntBuffer助赞,代表其一次可以存放 1024 個 int 類型的值买羞。一旦 Buffer 的容量達到 capacity,需要清空 Buffer雹食,才能重新寫入值畜普。
position 和 limit 是變化的,我們分別看下讀和寫操作下群叶,它們是如何變化的吃挑。
position 的初始值是 0钝荡,每往 Buffer 中寫入一個值,position 就自動加 1儒鹿,代表下一次的寫入位置化撕。讀操作的時候也是類似的,每讀一個值约炎,position 就自動加 1植阴。
從寫操作模式到讀操作模式切換的時候(flip),position 都會歸零圾浅,這樣就可以從頭開始讀寫了掠手。
Limit:寫操作模式下,limit 代表的是最大能寫入的數(shù)據(jù)狸捕,這個時候 limit 等于 capacity喷鸽。寫結束后,切換到讀模式灸拍,此時的 limit 等于 Buffer 中實際的數(shù)據(jù)大小做祝,因為 Buffer 不一定被寫滿了。
初始化 Buffer
每個 Buffer 實現(xiàn)類都提供了一個靜態(tài)方法 allocate(int capacity)
幫助我們快速實例化一個 Buffer鸡岗。如:
ByteBuffer byteBuf = ByteBuffer.allocate(1024);
IntBuffer intBuf = IntBuffer.allocate(1024);
LongBuffer longBuf = LongBuffer.allocate(1024);
// ...
另外混槐,我們經(jīng)常使用 wrap 方法來初始化一個 Buffer。
public static ByteBuffer wrap(byte[] array) {
...
}
填充 Buffer
各個 Buffer 類都提供了一些 put 方法用于將數(shù)據(jù)填充到 Buffer 中轩性,如 ByteBuffer 中的幾個 put 方法:
// 填充一個 byte 值
public abstract ByteBuffer put(byte b);
// 在指定位置填充一個 int 值
public abstract ByteBuffer put(int index, byte b);
// 將一個數(shù)組中的值填充進去
public final ByteBuffer put(byte[] src) {...}
public ByteBuffer put(byte[] src, int offset, int length) {...}
上述這些方法需要自己控制 Buffer 大小声登,不能超過 capacity,超過會拋 java.nio.BufferOverflowException 異常揣苏。
對于 Buffer 來說悯嗓,另一個常見的操作中就是,我們要將來自 Channel 的數(shù)據(jù)填充到 Buffer 中卸察,在系統(tǒng)層面上脯厨,這個操作我們稱為讀操作,因為數(shù)據(jù)是從外部(文件或網(wǎng)絡等)讀到內(nèi)存中坑质。
int num = channel.read(buf);
上述方法會返回從 Channel 中讀入到 Buffer 的數(shù)據(jù)大小俄认。
提取 Buffer 中的值
前面介紹了寫操作,每寫入一個值洪乍,position 的值都需要加 1眯杏,所以 position 最后會指向最后一次寫入的位置的后面一個,如果 Buffer 寫滿了壳澳,那么 position 等于 capacity(position 從 0 開始)岂贩。
如果要讀 Buffer 中的值,需要切換模式,從寫入模式切換到讀出模式萎津。注意卸伞,通常在說 NIO 的讀操作的時候,我們說的是從 Channel 中讀數(shù)據(jù)到 Buffer 中锉屈,對應的是對 Buffer 的寫入操作荤傲,初學者需要理清楚這個。
調(diào)用 Buffer 的 flip() 方法颈渊,可以從寫入模式切換到讀取模式遂黍。其實這個方法也就是設置了一下 position 和 limit 值罷了。
public final Buffer flip() {
limit = position; // 將 limit 設置為實際寫入的數(shù)據(jù)數(shù)量
position = 0; // 重置 position 為 0
mark = -1; // mark 之后再說
return this;
}
對應寫入操作的一系列 put 方法俊嗽,讀操作提供了一系列的 get 方法:
// 根據(jù) position 來獲取數(shù)據(jù)
public abstract byte get();
// 獲取指定位置的數(shù)據(jù)
public abstract byte get(int index);
// 將 Buffer 中的數(shù)據(jù)寫入到數(shù)組中
public ByteBuffer get(byte[] dst)
附一個經(jīng)常使用的方法:
new String(buffer.array()).trim();
當然了雾家,除了將數(shù)據(jù)從 Buffer 取出來使用,更常見的操作是將我們寫入的數(shù)據(jù)傳輸?shù)?Channel 中绍豁,如通過 FileChannel 將數(shù)據(jù)寫入到文件中芯咧,通過 SocketChannel 將數(shù)據(jù)寫入網(wǎng)絡發(fā)送到遠程機器等。對應的竹揍,這種操作敬飒,我們稱之為寫操作。
int num = channel.write(buf);
mark() & reset()
除了 position芬位、limit无拗、capacity 這三個基本的屬性外,還有一個常用的屬性就是 mark晶衷。
mark 用于臨時保存 position 的值,每次調(diào)用 mark() 方法都會將 mark 設值為當前的 position阴孟,便于后續(xù)需要的時候使用晌纫。
public final Buffer mark() {
mark = position;
return this;
}
那到底什么時候用呢?考慮以下場景永丝,我們在 position 為 5 的時候锹漱,先 mark() 一下,然后繼續(xù)往下讀慕嚷,讀到第 10 的時候哥牍,我想重新回到 position 為 5 的地方重新來一遍,那只要調(diào)一下 reset() 方法喝检,position 就回到 5 了嗅辣。
public final Buffer reset() {
int m = mark;
if (m < 0)
throw new InvalidMarkException();
position = m;
return this;
}
rewind() & clear() & compact()
rewind():會重置 position 為 0,通常用于重新從頭讀寫 Buffer挠说。
public final Buffer rewind() {
position = 0;
mark = -1;
return this;
}
clear():有點重置 Buffer 的意思澡谭,相當于重新實例化了一樣。
通常损俭,我們會先填充 Buffer蛙奖,然后從 Buffer 讀取數(shù)據(jù)潘酗,之后我們再重新往里填充新的數(shù)據(jù),我們一般在重新填充之前先調(diào)用 clear()雁仲。
public final Buffer clear() {
position = 0;
limit = capacity;
mark = -1;
return this;
}
compact():和 clear() 一樣的是仔夺,它們都是在準備往 Buffer 填充新的數(shù)據(jù)之前調(diào)用。
前面說的 clear() 方法會重置幾個屬性攒砖,但是我們要看到缸兔,clear() 方法并不會將 Buffer 中的數(shù)據(jù)清空,只不過后續(xù)的寫入會覆蓋掉原來的數(shù)據(jù)祭衩,也就相當于清空了數(shù)據(jù)了灶体。
而 compact() 方法有點不一樣,調(diào)用這個方法以后掐暮,會先處理還沒有讀取的數(shù)據(jù)蝎抽,也就是 position 到 limit 之間的數(shù)據(jù)(還沒有讀過的數(shù)據(jù)),先將這些數(shù)據(jù)移到左邊路克,然后在這個基礎上再開始寫入樟结。很明顯,此時 limit 還是等于 capacity精算,position 指向原來數(shù)據(jù)的右邊瓢宦。
Channel
所有的 NIO 操作始于通道,通道是數(shù)據(jù)來源或數(shù)據(jù)寫入的目的地灰羽,主要地驮履,我們將關心 java.nio 包中實現(xiàn)的以下幾個 Channel:
- FileChannel:文件通道,用于文件的讀和寫
- DatagramChannel:用于 UDP 連接的接收和發(fā)送
- SocketChannel:把它理解為 TCP 連接通道廉嚼,簡單理解就是 TCP 客戶端
- ServerSocketChannel:TCP 對應的服務端玫镐,用于監(jiān)聽某個端口進來的請求
這里不是很理解這些也沒關系,后面介紹了代碼之后就清晰了怠噪。還有恐似,我們最應該關注,也是后面將會重點介紹的是 SocketChannel 和 ServerSocketChannel傍念。
Channel 經(jīng)常翻譯為通道矫夷,類似 IO 中的流,用于讀取和寫入憋槐。它與前面介紹的 Buffer 打交道双藕,讀操作的時候?qū)?Channel 中的數(shù)據(jù)填充到 Buffer 中,而寫操作時將 Buffer 中的數(shù)據(jù)寫入到 Channel 中阳仔。
至少讀者應該記住一點蔓彩,這兩個方法都是 channel 實例的方法。
FileChannel
我想文件操作對于大家來說應該是最熟悉的,不過我們在說 NIO 的時候赤嚼,其實 FileChannel 并不是關注的重點旷赖。而且后面我們說非阻塞的時候會看到,F(xiàn)ileChannel 是不支持非阻塞的更卒。
這里算是簡單介紹下常用的操作吧等孵,感興趣的讀者瞄一眼就是了。
初始化:
FileInputStream inputStream = new FileInputStream(new File("/data.txt"));
FileChannel fileChannel = inputStream.getChannel();
當然了蹂空,我們也可以從 RandomAccessFile#getChannel 來得到 FileChannel俯萌。
讀取文件內(nèi)容:
ByteBuffer buffer = ByteBuffer.allocate(1024);
int num = fileChannel.read(buffer);
前面我們也說了,所有的 Channel 都是和 Buffer 打交道的上枕。
寫入文件內(nèi)容:
ByteBuffer buffer = ByteBuffer.allocate(1024);
buffer.put("隨機寫入一些內(nèi)容到 Buffer 中".getBytes());
// Buffer 切換為讀模式
buffer.flip();
while(buffer.hasRemaining()) {
// 將 Buffer 中的內(nèi)容寫入文件
fileChannel.write(buffer);
}
SocketChannel
我們前面說了咐熙,我們可以將 SocketChannel 理解成一個 TCP 客戶端。雖然這么理解有點狹隘辨萍,因為我們在介紹 ServerSocketChannel 的時候會看到另一種使用方式棋恼。
打開一個 TCP 連接:
SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("https://www.javadoop.com", 80));
當然了,上面的這行代碼等價于下面的兩行:
// 打開一個通道
SocketChannel socketChannel = SocketChannel.open();
// 發(fā)起連接
socketChannel.connect(new InetSocketAddress("https://www.javadoop.com", 80));
SocketChannel 的讀寫和 FileChannel 沒什么區(qū)別锈玉,就是操作緩沖區(qū)爪飘。
// 讀取數(shù)據(jù)
socketChannel.read(buffer);
// 寫入數(shù)據(jù)到網(wǎng)絡連接中
while(buffer.hasRemaining()) {
socketChannel.write(buffer);
}
不要在這里停留太久,先繼續(xù)往下走拉背。
ServerSocketChannel
之前說 SocketChannel 是 TCP 客戶端师崎,這里說的 ServerSocketChannel 就是對應的服務端。
ServerSocketChannel 用于監(jiān)聽機器端口椅棺,管理從這個端口進來的 TCP 連接犁罩。
// 實例化
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
// 監(jiān)聽 8080 端口
serverSocketChannel.socket().bind(new InetSocketAddress(8080));
while (true) {
// 一旦有一個 TCP 連接進來,就對應創(chuàng)建一個 SocketChannel 進行處理
SocketChannel socketChannel = serverSocketChannel.accept();
}
這里我們可以看到 SocketChannel 的第二個實例化方式
到這里两疚,我們應該能理解 SocketChannel 了床估,它不僅僅是 TCP 客戶端,它代表的是一個網(wǎng)絡通道鬼雀,可讀可寫顷窒。
ServerSocketChannel 不和 Buffer 打交道了蛙吏,因為它并不實際處理數(shù)據(jù)源哩,它一旦接收到請求后,實例化 SocketChannel鸦做,之后在這個連接通道上的數(shù)據(jù)傳遞它就不管了励烦,因為它需要繼續(xù)監(jiān)聽端口,等待下一個連接泼诱。
DatagramChannel
UDP 和 TCP 不一樣坛掠,DatagramChannel 一個類處理了服務端和客戶端。
科普一下,UDP 是面向無連接的屉栓,不需要和對方握手舷蒲,不需要通知對方,就可以直接將數(shù)據(jù)包投出去友多,至于能不能送達牲平,它是不知道的
監(jiān)聽端口:
DatagramChannel channel = DatagramChannel.open();
channel.socket().bind(new InetSocketAddress(9090));
ByteBuffer buf = ByteBuffer.allocate(48);
channel.receive(buf);
發(fā)送數(shù)據(jù):
String newData = "New String to write to file..."
+ System.currentTimeMillis();
ByteBuffer buf = ByteBuffer.allocate(48);
buf.put(newData.getBytes());
buf.flip();
int bytesSent = channel.send(buf, new InetSocketAddress("jenkov.com", 80));
Selector
NIO 三大組件就剩 Selector 了,Selector 建立在非阻塞的基礎之上域滥,大家經(jīng)常聽到的 多路復用 在 Java 世界中指的就是它纵柿,用于實現(xiàn)一個線程管理多個 Channel。
讀者在這一節(jié)不能消化 Selector 也沒關系启绰,因為后續(xù)在介紹非阻塞 IO 的時候還得說到這個昂儒,這里先介紹一些基本的接口操作。
-
首先委可,我們開啟一個 Selector渊跋。你們愛翻譯成選擇器也好,多路復用器也好撤缴。
Selector selector = Selector.open();
-
將 Channel 注冊到 Selector 上刹枉。前面我們說了,Selector 建立在非阻塞模式之上屈呕,所以注冊到 Selector 的 Channel 必須要支持非阻塞模式微宝,F(xiàn)ileChannel 不支持非阻塞,我們這里討論最常見的 SocketChannel 和 ServerSocketChannel虎眨。
// 將通道設置為非阻塞模式蟋软,因為默認都是阻塞模式的 channel.configureBlocking(false); // 注冊 SelectionKey key = channel.register(selector, SelectionKey.OP_READ);
register 方法的第二個 int 型參數(shù)(使用二進制的標記位)用于表明需要監(jiān)聽哪些感興趣的事件,共以下四種事件:
-
SelectionKey.OP_READ
對應 00000001嗽桩,通道中有數(shù)據(jù)可以進行讀取
-
SelectionKey.OP_WRITE
對應 00000100岳守,可以往通道中寫入數(shù)據(jù)
-
SelectionKey.OP_CONNECT
對應 00001000,成功建立 TCP 連接
-
SelectionKey.OP_ACCEPT
對應 00010000碌冶,接受 TCP 連接
-
我們可以同時監(jiān)聽一個 Channel 中的發(fā)生的多個事件湿痢,比如我們要監(jiān)聽 ACCEPT 和 READ 事件,那么指定參數(shù)為二進制的 00010001 即十進制數(shù)值 17 即可扑庞。
注冊方法返回值是 SelectionKey 實例譬重,它包含了 Channel 和 Selector 信息,也包括了一個叫做 Interest Set 的信息罐氨,即我們設置的我們感興趣的正在監(jiān)聽的事件集合臀规。
- 調(diào)用 select() 方法獲取通道信息沐批。用于判斷是否有我們感興趣的事件已經(jīng)發(fā)生了腋舌。
Selector 的操作就是以上 3 步,這里來一個簡單的示例的榛,大家看一下就好了。之后在介紹非阻塞 IO 的時候谨究,會演示一份可執(zhí)行的示例代碼恩袱。
Selector selector = Selector.open();
channel.configureBlocking(false);
SelectionKey key = channel.register(selector, SelectionKey.OP_READ);
while(true) {
// 判斷是否有事件準備好
int readyChannels = selector.select();
if(readyChannels == 0) continue;
// 遍歷
Set<SelectionKey> selectedKeys = selector.selectedKeys();
Iterator<SelectionKey> keyIterator = selectedKeys.iterator();
while(keyIterator.hasNext()) {
SelectionKey key = keyIterator.next();
if(key.isAcceptable()) {
// a connection was accepted by a ServerSocketChannel.
} else if (key.isConnectable()) {
// a connection was established with a remote server.
} else if (key.isReadable()) {
// a channel is ready for reading
} else if (key.isWritable()) {
// a channel is ready for writing
}
keyIterator.remove();
}
}
對于 Selector,我們還需要非常熟悉以下幾個方法:
-
select()
調(diào)用此方法胶哲,會將上次 select 之后的準備好的 channel 對應的 SelectionKey 復制到 selected set 中憎蛤。如果沒有任何通道準備好,這個方法會阻塞纪吮,直到至少有一個通道準備好俩檬。
-
selectNow()
功能和 select 一樣,區(qū)別在于如果沒有準備好的通道碾盟,那么此方法會立即返回 0棚辽。
-
select(long timeout)
看了前面兩個,這個應該很好理解了冰肴,如果沒有通道準備好屈藐,此方法會等待一會
-
wakeup()
這個方法是用來喚醒等待在 select() 和 select(timeout) 上的線程的。如果 wakeup() 先被調(diào)用熙尉,此時沒有線程在 select 上阻塞联逻,那么之后的一個 select() 或 select(timeout) 會立即返回,而不會阻塞检痰,當然包归,它只會作用一次。
小結
到此為止铅歼,介紹了 Buffer公壤、Channel 和 Selector 的常見接口。
Buffer 和數(shù)組差不多椎椰,它有 position厦幅、limit、capacity 幾個重要屬性慨飘。put() 一下數(shù)據(jù)确憨、flip() 切換到讀模式、然后用 get() 獲取數(shù)據(jù)瓤的、clear() 一下清空數(shù)據(jù)休弃、重新回到 put() 寫入數(shù)據(jù)。
Channel 基本上只和 Buffer 打交道堤瘤,最重要的接口就是 channel.read(buffer) 和 channel.write(buffer)玫芦。
Selector 用于實現(xiàn)非阻塞 IO浆熔,這里僅僅介紹接口使用本辐,后續(xù)請關注非阻塞 IO 的介紹桥帆。
(全文完)
微信公眾號【Java技術江湖】一位阿里 Java 工程師的技術小站。(關注公眾號后回復”Java“即可領取 Java基礎慎皱、進階老虫、項目和架構師等免費學習資料,更有數(shù)據(jù)庫茫多、分布式祈匙、微服務等熱門技術學習視頻,內(nèi)容豐富天揖,兼顧原理和實踐夺欲,另外也將贈送作者原創(chuàng)的Java學習指南、Java程序員面試指南等干貨資源)