前言
? ? ? ?nodejs中大量的api與流有關(guān),曾經(jīng)看到公司的一些大神的node代碼,實(shí)現(xiàn)一個(gè)接口只需要pipe一下另一個(gè)java接口就可以了。簡(jiǎn)單的一行代碼實(shí)在讓人困惑咏窿。作為小白的自己一臉懵逼卻又不敢問,因?yàn)楦静恢缽暮螁柶稹素征,F(xiàn)在終于通過學(xué)習(xí)集嵌,也能對(duì)流說出個(gè)123,希望和大家共同交流御毅。
流簡(jiǎn)介
? ? ? ?流分為緩沖模式和對(duì)象模式根欧,緩沖模式只能處理buffer或字符串,對(duì)象模式可以處理js對(duì)象亚享。流又分為四種類型:可讀流咽块、可寫流、雙工流和轉(zhuǎn)換流欺税。后兩種其實(shí)是對(duì)可讀和可寫流的應(yīng)用侈沪。所以我想先聊聊可讀流和可寫流。
可讀流
可讀流有兩種模式晚凿,并隨時(shí)可以轉(zhuǎn)換亭罪,我們可以通過監(jiān)聽可讀流的事件來操作它。
兩種模式(引用自node中文網(wǎng)的描述):
1歼秽、流動(dòng)模式:可讀流自動(dòng)讀取數(shù)據(jù)应役,通過EventEmitter接口的事件盡快將數(shù)據(jù)提供給應(yīng)用。
2燥筷、暫停模式:必須顯式調(diào)用stream.read()方法來從流中讀取數(shù)據(jù)片段箩祥。
暫停模式切換到流動(dòng)模式的api有:
1、監(jiān)聽“data”事件
2肆氓、調(diào)用 stream.resume()方法
3袍祖、調(diào)用 stream.pipe()方法將數(shù)據(jù)發(fā)送到可寫流
流動(dòng)模式切換到暫停模式的api有:
1、如果不存在管道目標(biāo)谢揪,調(diào)用stream.pause()方法
2蕉陋、如果存在管道目標(biāo)捐凭,調(diào)用 stream.unpipe()并取消'data'事件監(jiān)聽
可讀流事件:'data','readable','error','close','end'
可寫流
可寫流相對(duì)較為簡(jiǎn)單,我們也可以通過監(jiān)聽它的事件來操作它凳鬓。
可寫流事件: 'close','drain','error','finish','pipe','unpipe'
舉個(gè)栗子
? ? ? ?我以一個(gè)簡(jiǎn)單的例子描述一個(gè)流最常見的場(chǎng)景茁肠,談?wù)剬?duì)這個(gè)過程的理解。例子就是:我要讀取一個(gè)文件缩举,然后把它的內(nèi)容寫到另一個(gè)文件(當(dāng)然是用“流”的api垦梆,而不是用‘fs’模塊的api)。
接下來我解釋一下這張圖:
? ? 如上圖蚁孔,當(dāng)我們創(chuàng)建了一個(gè)可讀流的時(shí)候奶赔,readable._readableState.flowing屬性默認(rèn)為null惋嚎,這時(shí)我們有兩種選擇:
? ? ? ?1杠氢、監(jiān)聽‘readable’事件,這時(shí)可讀流會(huì)讀取64k(可以在創(chuàng)建可讀流時(shí)另伍,通過option參數(shù)中的highWaterMark更改)數(shù)據(jù)到流的緩存區(qū)中鼻百,等待你用read方法去讀取并消費(fèi)數(shù)據(jù),當(dāng)你用read方法讀了64k數(shù)據(jù)之后摆尝,會(huì)再次觸發(fā)readable事件温艇,直到你讀完了源文件的所有數(shù)據(jù)。記住堕汞,之所以叫暫停模式是因?yàn)槿绻悴徽{(diào)用read方法勺爱,代碼永遠(yuǎn)會(huì)停在這里,什么事情也不會(huì)發(fā)生了讯检。
? ? ? ?2琐鲁、如果你選擇監(jiān)聽‘data’事件,可讀流會(huì)直接讀取64k數(shù)據(jù)并通過‘data’事件的回掉函數(shù)提供給你消費(fèi)人灼,并且這個(gè)過程不會(huì)停止围段,如果源文件中有很多數(shù)據(jù),會(huì)不停的觸發(fā)‘data’事件投放,直到全部讀取完成奈泪。當(dāng)然,在這個(gè)過程中你隨時(shí)可以通過stream.pause()方法暫停它灸芳。
? ? ? ?那么涝桅,這兩種模式有什么區(qū)別呢?在我理解烙样,如果你不需要對(duì)數(shù)據(jù)進(jìn)行精確控制冯遂,首先選擇流動(dòng)模式,因?yàn)樗男矢呶笞琛H绻枰獙?duì)流的過程進(jìn)行精確控制則可以選擇暫停模式债蜜。也就是說暫停模式是流更高級(jí)一些的用法晴埂。其實(shí)官方建議我們盡量不要手動(dòng)去操作流,如果可以寻定,盡量使用pipe方法儒洛。
? ? ? ?接下來,不論我們以哪種方式讀到了文件中的數(shù)據(jù)狼速,這時(shí)我們都可以創(chuàng)建一個(gè)可寫流并調(diào)用可寫流的write方法來消費(fèi)讀到的數(shù)據(jù)琅锻。調(diào)用write方法會(huì)向文件中寫入數(shù)據(jù),但是因?yàn)閷懭氲乃俣容^慢向胡,如果當(dāng)前寫入還在進(jìn)行恼蓬,而你又調(diào)用了write方法,node會(huì)將你要寫入的數(shù)據(jù)緩存在一個(gè)緩存區(qū)中僵芹,等到文件寫入完畢會(huì)從緩存區(qū)中取出數(shù)據(jù)处硬,繼續(xù)寫入。
? ? ? ?write方法擁有一個(gè)布爾類型的返回值拇派,用來表示目前是否還可以繼續(xù)調(diào)用write方法寫入內(nèi)容荷辕。如果返回false,我們應(yīng)當(dāng)停止讀取數(shù)據(jù)以避免消耗過多內(nèi)存件豌。那么什么時(shí)候會(huì)返false呢疮方?就是當(dāng)緩存區(qū)的大小大于16k(可以在創(chuàng)建可讀流時(shí),通過option參數(shù)中的highWaterMark更改)時(shí)茧彤。
? ? ? 緩存區(qū)滿后骡显,文件寫入一直在進(jìn)行,不一會(huì)兒會(huì)把緩存區(qū)的內(nèi)容全部寫入曾掂,緩存區(qū)處于清空狀態(tài)惫谤,這時(shí)會(huì)觸發(fā)可寫流的‘drain’事件,這時(shí)我們可以繼續(xù)向文件寫入數(shù)據(jù)了遭殉。注意:如果緩存區(qū)從未滿過石挂,‘drain’事件永遠(yuǎn)也不會(huì)觸發(fā)。
那么這張圖對(duì)應(yīng)到代碼是什么樣的呢:
let fs = require('fs');
//創(chuàng)建可讀可寫流
let rs = fs.createReadStream('./1.txt');
let ws = fs.createWriteStream('./2.txt');
//監(jiān)聽‘data’事件险污,開啟流動(dòng)模式
rs.on('data',function (data) {
? ? //對(duì)應(yīng)圖中的可寫流true和false
? ? let flag = ws.write(data);
? ? if(!flag){
? ? ? ? //如果可寫流返回false痹愚,我們應(yīng)當(dāng)停止讀取,以避免消耗過多內(nèi)存
? ? ? ? rs.pause();
? ? }
});
//對(duì)應(yīng)圖中的drain事件
ws.on('drain',function () {
? ? //重新開啟流動(dòng)模式
? ? rs.resume();
});
//使用可讀流的暫停模式
function read() {
? ? let data = rs.read()
? ? let flag = ws.write(data);
? ? if(flag){
? ? ? read()
? ? }
}
rs.on('readable',function(){
? ? read()
})
ws.on('drain',function () {
? ? read()
});
結(jié)尾
? ? ? ?可讀和可寫流的用法和api還有很多蛔糯,這里只是簡(jiǎn)單的梳理了一下基本過程拯腮,如果有描述不準(zhǔn)確的地方還請(qǐng)大家在評(píng)論區(qū)多指正。
參考資料
- https://nodejs.org/dist/latest-v8.x/docs/api/stream.html
- http://nodejs.cn/api/