NodeJS通過stream操作IO

以文件讀取為例,在NodeJS中有兩種類型的讀寫文件的方式鹰椒,一種是通過fs.readFile()fs.writeFile()方法

  • fs.readFile()方法的參數(shù)票灰,為文件的名字和一個(gè)回調(diào)函數(shù)蔬墩,其中回調(diào)函數(shù)接收兩個(gè)參數(shù):
    1. err:如果讀取錯(cuò)誤斤贰,則返回一個(gè)錯(cuò)誤對(duì)象;
    2. data:如果讀取成功殖侵,則返回讀取后的數(shù)據(jù)贸呢;
  • fs.writeFile()方法的參數(shù)
    1. fileName:要寫入的目標(biāo)文件;
    2. data:要寫入的數(shù)據(jù)拢军;
    3. option:寫入的配置參數(shù)楞陷;
    4. callback:寫入成功后的回調(diào)函數(shù),接收寄一個(gè)參數(shù)err茉唉,如果寫入文件失敗固蛾,則用err,接收錯(cuò)誤對(duì)象

示例:

const fs = require('fs')
const path = require('path')

let fileName1 = path.resolve(__dirname, 'data.txt')
let fileName2 = path.resolve(__dirname, 'data_bar_02.txt')

fs.readFile(fileName1, (err, data) => {
  if (err) {
    console.error(err)
    return
  }
  
  fs.writeFile(fileName2, data, {
    flags: 'a'
  }, (err) => {
    if (err) {
      console.error(err)
      return
    }
    console.log('clone done')
  })
})

這里就引出了在服務(wù)器端讀取文件的問題度陆,由于計(jì)算機(jī)為單個(gè)的NodeJS進(jìn)程分配的系統(tǒng)資源是有限制的艾凯,單個(gè)NodeJS服務(wù)進(jìn)程最大被分配的內(nèi)存為3GB,用上面的這種方式讀取和寫入文件懂傀,是把讀取后和要寫入的數(shù)據(jù)整體作為變量览芳,存儲(chǔ)在計(jì)算機(jī)的內(nèi)存中,如果目標(biāo)文件體積過大鸿竖,就會(huì)直接完全占用系統(tǒng)資源,造成服務(wù)崩潰铸敏。所以在NodeJS中缚忧,通常使用stream技術(shù),進(jìn)行IO操作杈笔。

通過stream操作IO

在NodeJS中闪水,通過stream技術(shù),讀取和寫入文件蒙具,主要是通過fs.createReadStream()createWriteStream()方法

// 利用stream操作文件
const fs = require('fs')
const path = require('path')

const fileName1 = path.resolve(__dirname, 'data.txt')
const fileName2 = path.resolve(__dirname,'data_bak.txt')

const readStream = fs.createReadStream(fileName1)
const writeStream = fs.createWriteStream(fileName2)

readStream.pipe(writeStream)
readStream.on('data', (chunk) => {
  console.log(chunk.toString())
})
readStream.on('end', () => {
  console.log('copy done')
})

使用數(shù)據(jù)流方式讀取操作IO球榆,將文件分段讀取并逐步寫入目標(biāo)文件朽肥,可以有效降低服務(wù)器的系統(tǒng)開銷。再看下面的例子:

const http = require('http')
const fs = require('fs')
const path = require('path')

const app = http.createServer((req, res) => {
  if (req.method === 'GET') {
    let fileName = path.resolve(__dirname, 'data.txt')
    let readStream = fs.createReadStream(fileName)
    readStream.pipe(res)
  }
})

app.listen(8000, () => {
  console.log('running on 8000')
})

服務(wù)器IO操作的瓶頸持钉,不止有硬件瓶頸衡招,同時(shí)還有網(wǎng)絡(luò)瓶頸,使用數(shù)據(jù)流的形式來操作文件讀取的方式在網(wǎng)絡(luò)流媒體(在線視頻每强,音樂網(wǎng)站始腾,視頻直播,短視頻···)等需要對(duì)較大文件進(jìn)行讀寫操作的場(chǎng)景下空执,可以有效降低網(wǎng)絡(luò)負(fù)載浪箭,并減少用戶等待時(shí)間,提高用戶體驗(yàn)辨绊。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末奶栖,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子门坷,更是在濱河造成了極大的恐慌宣鄙,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,743評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件拜鹤,死亡現(xiàn)場(chǎng)離奇詭異框冀,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)敏簿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,296評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門明也,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人惯裕,你說我怎么就攤上這事温数。” “怎么了蜻势?”我有些...
    開封第一講書人閱讀 157,285評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵撑刺,是天一觀的道長。 經(jīng)常有香客問我握玛,道長够傍,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,485評(píng)論 1 283
  • 正文 為了忘掉前任挠铲,我火速辦了婚禮冕屯,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘拂苹。我一直安慰自己安聘,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,581評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著浴韭,像睡著了一般嚼摩。 火紅的嫁衣襯著肌膚如雪严就。 梳的紋絲不亂的頭發(fā)上亩进,一...
    開封第一講書人閱讀 49,821評(píng)論 1 290
  • 那天卵慰,我揣著相機(jī)與錄音,去河邊找鬼舍肠。 笑死搀继,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的翠语。 我是一名探鬼主播叽躯,決...
    沈念sama閱讀 38,960評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼肌括!你這毒婦竟也來了点骑?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,719評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤谍夭,失蹤者是張志新(化名)和其女友劉穎黑滴,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體紧索,經(jīng)...
    沈念sama閱讀 44,186評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡袁辈,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,516評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了珠漂。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片晚缩。...
    茶點(diǎn)故事閱讀 38,650評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖媳危,靈堂內(nèi)的尸體忽然破棺而出荞彼,到底是詐尸還是另有隱情,我是刑警寧澤待笑,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布鸣皂,位于F島的核電站,受9級(jí)特大地震影響暮蹂,放射性物質(zhì)發(fā)生泄漏寞缝。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,936評(píng)論 3 313
  • 文/蒙蒙 一仰泻、第九天 我趴在偏房一處隱蔽的房頂上張望第租。 院中可真熱鬧,春花似錦我纪、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,757評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽趟据。三九已至,卻和暖如春术健,著一層夾襖步出監(jiān)牢的瞬間汹碱,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,991評(píng)論 1 266
  • 我被黑心中介騙來泰國打工荞估, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留咳促,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,370評(píng)論 2 360
  • 正文 我出身青樓勘伺,卻偏偏與公主長得像跪腹,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子飞醉,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,527評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容