理解Buffer

在NODE中,應(yīng)用需要處理網(wǎng)絡(luò)協(xié)議备闲、操作系統(tǒng)數(shù)據(jù)庫伤溉、處理圖片、接受上傳文件等亚隙,在網(wǎng)絡(luò)流和文件的操作中,需要處理大量的二進制數(shù)據(jù),JavaScript自有的字符串不能滿足這些需求竹观,所以引入Buffer對象。

ECMAScript規(guī)范中潜索,沒有二進制方面的定義臭增,CommonJS中有部分定義。

Buffer 結(jié)構(gòu)

Buffer是一個類似于Array的對象竹习,但它主要用來操作字節(jié)誊抛。

Buffer模塊結(jié)構(gòu)

Buffer是一個典型的JavaScript與C++結(jié)合的模塊,它將性能相關(guān)部分用C++實現(xiàn)整陌,將非性能相關(guān)部分用JavaScript實現(xiàn)

Buffer所占用的內(nèi)存不是通過V8分配的拗窃,屬于對外內(nèi)存,由于V8垃圾回收性能的影響泌辫,將常用的操作對象用更高效和專有的內(nèi)存分配回收策略來管理是個不錯的方式随夸。

由于Buffer在Node中應(yīng)用太過常見,Node在進程啟動就已經(jīng)加載并放在全局對象global中震放,所以在使用Buffer時宾毒,無需通過require()即可直接使用

Buffer 對象

Buffer對象類似于數(shù)組,元素為16進制的兩位數(shù)殿遂,既0到255 的數(shù)值

上面的列子可見诈铛,不同的編碼字符占用的元素各不相同,上面代碼中的中文字在UTF-8編碼下占用3個元素墨礁,字母和標點字符占用一個元素幢竹。

Buffer可以訪問length屬性得到長度,可以通過下標訪問元素

Buffer內(nèi)存分配

Buffer對象的內(nèi)存分配不是在V8的堆內(nèi)存中恩静,而是在Node的C++層面實現(xiàn)內(nèi)存的申請的焕毫。

處理大量的字節(jié)數(shù)據(jù)不能采用需要一點內(nèi)存就向操作系統(tǒng)申請一點內(nèi)存的方式,這會造成大量內(nèi)存申請的系統(tǒng)調(diào)用,對操作系統(tǒng)有一定得壓力咬荷。Node在內(nèi)存中使用上應(yīng)用的是C++層面申請內(nèi)存冠句、在JavaScript中分配的策略。

為了高效地使用申請來的內(nèi)存幸乒,Node采用了Slab分配機制懦底。Slab是一種動態(tài)內(nèi)存管理機制。

slab就是一塊申請好的固定大小的內(nèi)存區(qū)域罕扎。slab具有如下3種狀態(tài)

full:完全分配狀態(tài)聚唐。

partial:部分分配狀態(tài)。

empty:沒有被分配狀態(tài)腔召。

當我們需要一個Buffer對象可以使用 ?new Buffer(size)

Node以8KB為界限來區(qū)分Buffer是大對象還是小對象

Buffer.poolSize = 8 * 1024;

8KB的值也就是每個slab的大小值杆查,在JavaScript層面,以它作為單位單元進行內(nèi)存的分配

1.分配小Buffer對象

指定Buffer的大小小于8KB臀蛛,Node會按照小對象的方式進行分配亲桦。Buffer的分配過程中主要使用一個局部變量pool作為中間處理對象,處于分配狀態(tài)的slab單元都指向它浊仆。

小Buffer分配會存在一個slab多個Buffer對象使用客峭,只有這些小Buffer對象在作用域釋放并都可以回收時,slab的8KB空間才會被回收抡柿。

2.分配大Buffer對象

如果需要超過8KB的Buffer對象舔琅,將會直接分配一個SlowBuffer對象作為slab單元,這個slab單元將會被這個大Buffer對象獨占

this.parent = new SlowBuffer(this.length);

this.offset = 0;

Buffer 的轉(zhuǎn)換

Buffer對象可以與字符串之間相互轉(zhuǎn)換洲劣,目前支持的字符串編碼類型有如下:

ASCII 备蚓、UTF-8、UTF-16LE/UCS-2囱稽、Base64郊尝、Binary、Hex

字符串轉(zhuǎn)Buffer

字符串轉(zhuǎn)Buferr主要在構(gòu)造函數(shù)中完成 new Buffer(str, [encoding])战惊;

encoding參數(shù)不傳遞時虚循,默認按UTF-8編碼進行轉(zhuǎn)碼和存儲。

一個Buffer對象可以存儲不同編碼類型的字符串轉(zhuǎn)碼的值样傍,調(diào)用write()方法可以實現(xiàn)該目的:

buf.write(string, [offset], [length], [encoding])

由于可以不斷寫入內(nèi)容到Buffer對象中,并且每次寫入可以指定編碼铺遂,所以Buffer對象中可以存在多種編碼轉(zhuǎn)換后的內(nèi)容衫哥,每次編碼所有的字節(jié)長度不同,將Buffer反轉(zhuǎn)回字符串時需要謹慎處理

Buffer 轉(zhuǎn)字符串

but.toString([encoding], [ start], [end])

比較精巧的是襟锐,可以設(shè)置encoding(默認為UTF-8)撤逢、start、end這三個參數(shù)實現(xiàn)整體或局部的轉(zhuǎn)換。如果Buffer對象由多種編碼寫入蚊荣,就需要在局部指定不同的編碼初狰,才能轉(zhuǎn)換回正常的編碼

Buffer 不支持的編碼類型

目前Node的Buffer對象支持的編碼類型有限,只有少數(shù)的幾種編碼類型可以在字符串和Buffer之間轉(zhuǎn)換互例。

Buffer.isEncoding(encoding)

可以使用第三方模塊 iconv iconv-lite

Buffer的拼接

這里有個潛在的問題

data += chunk;

data = data.toString() ?+ chunk.toString();

對于英文沒什么問題奢入,但對于寬字符會有問題,會出現(xiàn)亂碼的問題媳叨。

每次讀取的Buffer長度為4? - 》 "好好學(xué)習(xí)腥光,天天向上。" -》好??????習(xí)糊秆,??????向上???

Buffer.toString()方法默認采用UTF-8編碼

<Buffer e5 a5 bd e5 a5 bd e5 ad a6 e4 b9 a0 ef bc8c e5 a4 a9 e5 a4 a9 e590 91e4 b88a e380 82>


setEncoding() ?與 string_decoder()

在調(diào)用setEncoding()時武福,可讀流對象在內(nèi)部設(shè)置了一個decoder對象。每次data事件都通過該decoder對象進行Buffer到字符串中解碼痘番,然后傳遞給調(diào)用者

StringDecoder在得到編碼后捉片,知道寬字節(jié)字符串在UTF-8編碼下是以3個字節(jié)的方式存儲,所以第一次write()時汞舱,只取前面三個字節(jié)轉(zhuǎn)碼伍纫,后一個字節(jié)被保留在StringDecoder實例內(nèi)部。第二次write()時兵拢,會將剩余的一個字節(jié)和后續(xù)的五個字節(jié)組合在一起翻斟,再次用3的整數(shù)倍字節(jié)進行轉(zhuǎn)碼。于是亂碼問題被解決说铃。

目前string_decoder模塊能夠處理的編碼有 ?UTF-8访惜,Base64和UCS-2/UTF-16LE這三種編碼。

如果不是上述三種編碼腻扇,采用的拼接方式為债热,用一個數(shù)組來存儲接受到的所有Buffer片段并記錄下所有片段的總長度,然后調(diào)用Buffer.concat()方法生成一個合并的Buffer對象幼苛。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末窒篱,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子舶沿,更是在濱河造成了極大的恐慌墙杯,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件括荡,死亡現(xiàn)場離奇詭異高镐,居然都是意外死亡,警方通過查閱死者的電腦和手機畸冲,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門嫉髓,熙熙樓的掌柜王于貴愁眉苦臉地迎上來观腊,“玉大人,你說我怎么就攤上這事算行∥嘤停” “怎么了?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵州邢,是天一觀的道長儡陨。 經(jīng)常有香客問我,道長偷霉,這世上最難降的妖魔是什么迄委? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮类少,結(jié)果婚禮上叙身,老公的妹妹穿的比我還像新娘。我一直安慰自己硫狞,他們只是感情好信轿,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著残吩,像睡著了一般财忽。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上泣侮,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天即彪,我揣著相機與錄音,去河邊找鬼活尊。 笑死隶校,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的蛹锰。 我是一名探鬼主播深胳,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼铜犬!你這毒婦竟也來了舞终?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤癣猾,失蹤者是張志新(化名)和其女友劉穎敛劝,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體纷宇,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡夸盟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了呐粘。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片满俗。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖作岖,靈堂內(nèi)的尸體忽然破棺而出唆垃,到底是詐尸還是另有隱情,我是刑警寧澤痘儡,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布辕万,位于F島的核電站,受9級特大地震影響沉删,放射性物質(zhì)發(fā)生泄漏渐尿。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一矾瑰、第九天 我趴在偏房一處隱蔽的房頂上張望砖茸。 院中可真熱鬧,春花似錦殴穴、人聲如沸凉夯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽劲够。三九已至,卻和暖如春休傍,著一層夾襖步出監(jiān)牢的瞬間征绎,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工磨取, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留人柿,地道東北人。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓寝衫,卻偏偏與公主長得像顷扩,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子慰毅,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容

  • Buffer結(jié)構(gòu) 類似Array隘截,為16進制的兩位數(shù),即占一個字節(jié) js與c++結(jié)合的模塊汹胃,內(nèi)存由c++申請婶芭,js...
    wmtcore閱讀 1,086評論 1 1
  • 編碼問題一直困擾著開發(fā)人員,尤其在 Java 中更加明顯着饥,因為 Java 是跨平臺語言犀农,不同平臺之間編碼之間的切換...
    x360閱讀 2,480評論 1 20
  • https://nodejs.org/api/documentation.html 工具模塊 Assert 測試 ...
    KeKeMars閱讀 6,331評論 0 6
  • Node.js Buffer(緩沖區(qū)) JavaScript 語言自身只有字符串數(shù)據(jù)類型,沒有二進制數(shù)據(jù)類型宰掉。但在...
    FTOLsXD閱讀 510評論 0 2
  • 1. Java基礎(chǔ)部分 基礎(chǔ)部分的順序:基本語法呵哨,類相關(guān)的語法赁濒,內(nèi)部類的語法,繼承相關(guān)的語法孟害,異常的語法拒炎,線程的語...
    子非魚_t_閱讀 31,625評論 18 399