說說node中的可讀流和可寫流

前言

? ? ? ?nodejs中大量的api與流有關(guān),曾經(jīng)看到公司的一些大神的node代碼,實(shí)現(xiàn)一個(gè)接口只需要pipe一下另一個(gè)java接口就可以了。簡(jiǎn)單的一行代碼實(shí)在讓人困惑咏窿。作為小白的自己一臉懵逼卻又不敢問,因?yàn)楦静恢缽暮螁柶稹素征,F(xiàn)在終于通過學(xué)習(xí)集嵌,也能對(duì)流說出個(gè)123,希望和大家共同交流御毅。

流簡(jiǎn)介

? ? ? ?流分為緩沖模式和對(duì)象模式根欧,緩沖模式只能處理buffer或字符串,對(duì)象模式可以處理js對(duì)象亚享。流又分為四種類型:可讀流咽块、可寫流、雙工流和轉(zhuǎn)換流欺税。后兩種其實(shí)是對(duì)可讀和可寫流的應(yīng)用侈沪。所以我想先聊聊可讀流和可寫流。

可讀流

可讀流有兩種模式晚凿,并隨時(shí)可以轉(zhuǎn)換亭罪,我們可以通過監(jiān)聽可讀流的事件來操作它。

兩種模式(引用自node中文網(wǎng)的描述):

1歼秽、流動(dòng)模式:可讀流自動(dòng)讀取數(shù)據(jù)应役,通過EventEmitter接口的事件盡快將數(shù)據(jù)提供給應(yīng)用。

2燥筷、暫停模式:必須顯式調(diào)用stream.read()方法來從流中讀取數(shù)據(jù)片段箩祥。

暫停模式切換到流動(dòng)模式的api有:

1、監(jiān)聽“data”事件

2肆氓、調(diào)用 stream.resume()方法

3袍祖、調(diào)用 stream.pipe()方法將數(shù)據(jù)發(fā)送到可寫流

流動(dòng)模式切換到暫停模式的api有:

1、如果不存在管道目標(biāo)谢揪,調(diào)用stream.pause()方法

2蕉陋、如果存在管道目標(biāo)捐凭,調(diào)用 stream.unpipe()并取消'data'事件監(jiān)聽

可讀流事件:'data','readable','error','close','end'

可寫流

可寫流相對(duì)較為簡(jiǎn)單,我們也可以通過監(jiān)聽它的事件來操作它凳鬓。

可寫流事件: 'close','drain','error','finish','pipe','unpipe'

舉個(gè)栗子

? ? ? ?我以一個(gè)簡(jiǎn)單的例子描述一個(gè)流最常見的場(chǎng)景茁肠,談?wù)剬?duì)這個(gè)過程的理解。例子就是:我要讀取一個(gè)文件缩举,然后把它的內(nèi)容寫到另一個(gè)文件(當(dāng)然是用“流”的api垦梆,而不是用‘fs’模塊的api)。


接下來我解釋一下這張圖:

? ? 如上圖蚁孔,當(dāng)我們創(chuàng)建了一個(gè)可讀流的時(shí)候奶赔,readable._readableState.flowing屬性默認(rèn)為null惋嚎,這時(shí)我們有兩種選擇:

? ? ? ?1杠氢、監(jiān)聽‘readable’事件,這時(shí)可讀流會(huì)讀取64k(可以在創(chuàng)建可讀流時(shí)另伍,通過option參數(shù)中的highWaterMark更改)數(shù)據(jù)到流的緩存區(qū)中鼻百,等待你用read方法去讀取并消費(fèi)數(shù)據(jù),當(dāng)你用read方法讀了64k數(shù)據(jù)之后摆尝,會(huì)再次觸發(fā)readable事件温艇,直到你讀完了源文件的所有數(shù)據(jù)。記住堕汞,之所以叫暫停模式是因?yàn)槿绻悴徽{(diào)用read方法勺爱,代碼永遠(yuǎn)會(huì)停在這里,什么事情也不會(huì)發(fā)生了讯检。

? ? ? ?2琐鲁、如果你選擇監(jiān)聽‘data’事件,可讀流會(huì)直接讀取64k數(shù)據(jù)并通過‘data’事件的回掉函數(shù)提供給你消費(fèi)人灼,并且這個(gè)過程不會(huì)停止围段,如果源文件中有很多數(shù)據(jù),會(huì)不停的觸發(fā)‘data’事件投放,直到全部讀取完成奈泪。當(dāng)然,在這個(gè)過程中你隨時(shí)可以通過stream.pause()方法暫停它灸芳。

? ? ? ?那么涝桅,這兩種模式有什么區(qū)別呢?在我理解烙样,如果你不需要對(duì)數(shù)據(jù)進(jìn)行精確控制冯遂,首先選擇流動(dòng)模式,因?yàn)樗男矢呶笞琛H绻枰獙?duì)流的過程進(jìn)行精確控制則可以選擇暫停模式债蜜。也就是說暫停模式是流更高級(jí)一些的用法晴埂。其實(shí)官方建議我們盡量不要手動(dòng)去操作流,如果可以寻定,盡量使用pipe方法儒洛。

? ? ? ?接下來,不論我們以哪種方式讀到了文件中的數(shù)據(jù)狼速,這時(shí)我們都可以創(chuàng)建一個(gè)可寫流并調(diào)用可寫流的write方法來消費(fèi)讀到的數(shù)據(jù)琅锻。調(diào)用write方法會(huì)向文件中寫入數(shù)據(jù),但是因?yàn)閷懭氲乃俣容^慢向胡,如果當(dāng)前寫入還在進(jìn)行恼蓬,而你又調(diào)用了write方法,node會(huì)將你要寫入的數(shù)據(jù)緩存在一個(gè)緩存區(qū)中僵芹,等到文件寫入完畢會(huì)從緩存區(qū)中取出數(shù)據(jù)处硬,繼續(xù)寫入。

? ? ? ?write方法擁有一個(gè)布爾類型的返回值拇派,用來表示目前是否還可以繼續(xù)調(diào)用write方法寫入內(nèi)容荷辕。如果返回false,我們應(yīng)當(dāng)停止讀取數(shù)據(jù)以避免消耗過多內(nèi)存件豌。那么什么時(shí)候會(huì)返false呢疮方?就是當(dāng)緩存區(qū)的大小大于16k(可以在創(chuàng)建可讀流時(shí),通過option參數(shù)中的highWaterMark更改)時(shí)茧彤。

? ? ? 緩存區(qū)滿后骡显,文件寫入一直在進(jìn)行,不一會(huì)兒會(huì)把緩存區(qū)的內(nèi)容全部寫入曾掂,緩存區(qū)處于清空狀態(tài)惫谤,這時(shí)會(huì)觸發(fā)可寫流的‘drain’事件,這時(shí)我們可以繼續(xù)向文件寫入數(shù)據(jù)了遭殉。注意:如果緩存區(qū)從未滿過石挂,‘drain’事件永遠(yuǎn)也不會(huì)觸發(fā)。

那么這張圖對(duì)應(yīng)到代碼是什么樣的呢:

let fs = require('fs');

//創(chuàng)建可讀可寫流

let rs = fs.createReadStream('./1.txt');

let ws = fs.createWriteStream('./2.txt');

//監(jiān)聽‘data’事件险污,開啟流動(dòng)模式

rs.on('data',function (data) {

? ? //對(duì)應(yīng)圖中的可寫流true和false

? ? let flag = ws.write(data);

? ? if(!flag){

? ? ? ? //如果可寫流返回false痹愚,我們應(yīng)當(dāng)停止讀取,以避免消耗過多內(nèi)存

? ? ? ? rs.pause();

? ? }

});

//對(duì)應(yīng)圖中的drain事件

ws.on('drain',function () {

? ? //重新開啟流動(dòng)模式

? ? rs.resume();

});

//使用可讀流的暫停模式

function read() {

? ? let data = rs.read()

? ? let flag = ws.write(data);

? ? if(flag){

? ? ? read()

? ? }

}

rs.on('readable',function(){

? ? read()

})

ws.on('drain',function () {

? ? read()

});

結(jié)尾

? ? ? ?可讀和可寫流的用法和api還有很多蛔糯,這里只是簡(jiǎn)單的梳理了一下基本過程拯腮,如果有描述不準(zhǔn)確的地方還請(qǐng)大家在評(píng)論區(qū)多指正。

參考資料

- https://nodejs.org/dist/latest-v8.x/docs/api/stream.html

- http://nodejs.cn/api/

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末蚁飒,一起剝皮案震驚了整個(gè)濱河市动壤,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌淮逻,老刑警劉巖琼懊,帶你破解...
    沈念sama閱讀 211,817評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件阁簸,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡哼丈,警方通過查閱死者的電腦和手機(jī)启妹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來醉旦,“玉大人饶米,你說我怎么就攤上這事〕岛” “怎么了檬输?”我有些...
    開封第一講書人閱讀 157,354評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長匈棘。 經(jīng)常有香客問我丧慈,道長,這世上最難降的妖魔是什么羹饰? 我笑而不...
    開封第一講書人閱讀 56,498評(píng)論 1 284
  • 正文 為了忘掉前任伊滋,我火速辦了婚禮碳却,結(jié)果婚禮上队秩,老公的妹妹穿的比我還像新娘。我一直安慰自己昼浦,他們只是感情好馍资,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著关噪,像睡著了一般鸟蟹。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上使兔,一...
    開封第一講書人閱讀 49,829評(píng)論 1 290
  • 那天建钥,我揣著相機(jī)與錄音,去河邊找鬼虐沥。 笑死熊经,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的欲险。 我是一名探鬼主播镐依,決...
    沈念sama閱讀 38,979評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼天试!你這毒婦竟也來了槐壳?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,722評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤喜每,失蹤者是張志新(化名)和其女友劉穎务唐,沒想到半個(gè)月后雳攘,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,189評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡枫笛,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評(píng)論 2 327
  • 正文 我和宋清朗相戀三年来农,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片崇堰。...
    茶點(diǎn)故事閱讀 38,654評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡沃于,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出海诲,到底是詐尸還是另有隱情繁莹,我是刑警寧澤,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布特幔,位于F島的核電站咨演,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏蚯斯。R本人自食惡果不足惜薄风,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望拍嵌。 院中可真熱鬧遭赂,春花似錦、人聲如沸横辆。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽狈蚤。三九已至困肩,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間脆侮,已是汗流浹背锌畸。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評(píng)論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留靖避,地道東北人潭枣。 一個(gè)月前我還...
    沈念sama閱讀 46,382評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像筋蓖,于是被迫代替她去往敵國和親卸耘。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理粘咖,服務(wù)發(fā)現(xiàn)蚣抗,斷路器,智...
    卡卡羅2017閱讀 134,633評(píng)論 18 139
  • stream 流是一個(gè)抽象接口,在 Node 里被不同的對(duì)象實(shí)現(xiàn)翰铡。例如 request to an HTTP se...
    明明三省閱讀 3,398評(píng)論 1 10
  • 一钝域、什么是Stream(流) 流(stream)在 Node.js 中是處理流數(shù)據(jù)的抽象接口(abstract i...
    Brolly閱讀 5,382評(píng)論 0 0
  • 流是什么? 這個(gè)字進(jìn)入我腦海我第一時(shí)間想到的是一句詩锭魔,抽刀斷水水更流例证,舉杯消愁...額,今天的主角是流迷捧。不好意思差...
    duffy990閱讀 774評(píng)論 0 3
  • 文/葉子 大學(xué)畢業(yè)的時(shí)候织咧,擺在我面前的有很多條路:一是考研,二是找工作漠秋,三是接受家人的安排笙蒙。我選擇了第一條路! ...
    墨葉秋閱讀 239評(píng)論 0 0