Node.js源碼解析-Buffer的8k池實現(xiàn)
歡迎來我的博客閱讀：《Node.js源碼解析-Buffer的8k池實現(xiàn)》
在 Node.js 中隆檀，對于大文件一般是以 Buffer 形式存儲龄广，相比于字符串，Buffer 可以免去 decode / encode 過程宰掉，節(jié)省 CPU 成本
說到 Buffer 就不得不提到 Buffer 的 8k 池井赌，那么贵扰，下面就讓我們來看看 8k 池是如何實現(xiàn)的吧
8k池實現(xiàn)
在 Node.js v8.4.0 中，可以通過以下方法來獲取一個 Buffer 實例：
-
new Buffer()( 不推薦 ) Buffer.from()Buffer.alloc()Buffer.allocUnsafe()Buffer.allocUnsafeSlow()
從命名上來看纹坐，Buffer.allocUnsafe() 和 Buffer.allocUnsafeSlow() 都是不安全的舞丛，有泄漏內(nèi)存中敏感信息的危險
unsafe 的問題放到后面說，先看看如何獲取一個 Buffer 實例
從圖中可以看出球切，只有 allocate() 和 fromString() 兩個函數(shù)直接與8k池相關(guān)
// lib/buffer.js
function allocate(size) {
if (size <= 0) {
return new FastBuffer();
}
if (size < (Buffer.poolSize >>> 1)) { // < 4k
if (size > (poolSize - poolOffset)) // 大于剩余容量
createPool();
var b = new FastBuffer(allocPool, poolOffset, size);
poolOffset += size;
alignPool();
return b;
} else { // > 4k
return createUnsafeBuffer(size);
}
}
function fromString(string, encoding) {
// ...
if (length >= (Buffer.poolSize >>> 1)) // > 4k
return binding.createFromString(string, encoding);
if (length > (poolSize - poolOffset)) // 大于剩余容量
createPool();
var b = new FastBuffer(allocPool, poolOffset, length);
const actual = b.write(string, encoding);
if (actual !== length) { // byteLength() 可能會估計錯誤吨凑，盡管可能性很小
b = new FastBuffer(allocPool, poolOffset, actual);
}
poolOffset += actual;
alignPool();
return b;
}
allocate() 和 fromString() 都是分為大于 4k 和小于 4k 兩種情況來處理
小于 4k 時，先檢查8k池的剩余容量糙臼，如果大于剩余容量則直接創(chuàng)建一個新的8k池恩商，然后修正 poolOffset，最后調(diào)用 alignPool()
// lib/buffer.js
Buffer.poolSize = 8 * 1024;
var poolSize, poolOffset, allocPool;
function createUnsafeArrayBuffer(size) {
// ...
return new ArrayBuffer(size);
// ...
}
function createPool() {
poolSize = Buffer.poolSize; // 8k
allocPool = createUnsafeArrayBuffer(poolSize);
poolOffset = 0;
}
createPool();
function alignPool() {
if (poolOffset & 0x7) { // 進行校準揽乱，只能為 8 的倍數(shù)
poolOffset |= 0x7; // xxx111
poolOffset++; // xx(x+1)000
}
}
通過調(diào)用 alignPool() 來校準 poolOffset粟矿，poolOffset 只能為 8 的倍數(shù)，換句話說渊啰，每次至少使用 8 個字節(jié)內(nèi)存
8k池容量不夠時申屹，調(diào)用 createPool()，創(chuàng)建一個新的8k池
createPool() 內(nèi)部調(diào)用 createUnsafeArrayBuffer() 來獲取一個對應大小的 ArrayBuffer 實例
關(guān)于 ArrayBuffer嚷那，這里引用 MDN 的介紹：
The ArrayBuffer object is used to represent a generic, fixed-length raw binary data buffer
因為 ArrayBuffer 是 raw binary data杆煞，所以它是不安全的，存在泄漏內(nèi)存中敏感信息的危險
Why Unsafe ?
從圖中我們知道决乎，一共有 4 種方法來獲得一個 Buffer 實例，它們之中蚌斩，有的是 unsafe 的范嘱，有的不是
new Buffer()依賴Buffer.from()和Buffer.alloc()不算一種
下面讓我們來看看為什么有的是 unsafe 的
// lib/buffer.js
// safe
Buffer.from = function(value, encodingOrOffset, length) {
if (typeof value === 'string')
return fromString(value, encodingOrOffset); // safe
if (isAnyArrayBuffer(value))
return fromArrayBuffer(value, encodingOrOffset, length); // safe
var b = fromObject(value); // safe
// ...
};
function fromString(string, encoding) {
// ...
var b = new FastBuffer(allocPool, poolOffset, length);
const actual = b.write(string, encoding);
// ...
}
function fromArrayBuffer(obj, byteOffset, length) {
// ...
return new FastBuffer(obj, byteOffset, length);
}
function fromObject(obj) {
if (isUint8Array(obj)) {
const b = allocate(obj.length);
// ...
binding.copy(obj, b, 0, 0, obj.length);
}
if (obj != null) {
// ...
return fromArrayLike(obj);
// ...
}
}
function fromArrayLike(obj) {
// ...
const b = allocate(length);
for (var i = 0; i < length; i++)
b[i] = obj[i];
return b;
}
// unsafe
Buffer.allocUnsafe = function(size) {
return allocate(size);
};
// unsafe
Buffer.allocUnsafeSlow = function(size) {
return createUnsafeBuffer(size);
};
function createUnsafeBuffer(size) {
return new FastBuffer(createUnsafeArrayBuffer(size));
}
// safe
Buffer.alloc = function(size, fill, encoding) {
assertSize(size);
if (size > 0 && fill !== undefined) {
// ...
return createUnsafeBuffer(size).fill(fill, encoding);
}
return new FastBuffer(size);
};
可以看出:
-
Buffer.from()和Buffer.alloc(): 取到原始 buffer 后丑蛤，對原始數(shù)據(jù)進行了替換，所以它們是 safe 的 -
Buffer.allocUnsafe()和Buffer.allocUnsafeSlow(): 直接使用原始 buffer碌补，所以它們是 unsafe 的
End
-
new Buffer(): 依賴Buffer.from()和Buffer.alloc() -
Buffer.from()- ArrayBuffer: 直接使用 ArrayBuffer 創(chuàng)建 FastBuffer
- String: 小于 4k 使用8k池棉饶，大于 4k 調(diào)用
binding.createFromString() - Object: 小于 4k 使用8k池，大于 4k 調(diào)用
createUnsafeBuffer()
-
Buffer.alloc(): 需要 fill buffer闷袒，用給定字符填充岩梳，否則用 0 填充 -
Buffer.allocUnsafe(): 小于 4k 使用8k池，大于 4k 調(diào)用createUnsafeBuffer() -
Buffer.allocUnsafeSlow(): 調(diào)用createUnsafeBuffer()
參考：
