前言
node是單線程且支持高并發(fā)的腳本語(yǔ)言，node如何能做到單線程不阻塞挽荡，基于i/o的操作基本都是異步的藐石，node主線程只需發(fā)送異步操作給libuv，由node的工作線程去執(zhí)行定拟，libuv是多線程的線程池用來(lái)并行io操作于微，主線程就可以做其他的事情，直到libuv的返回青自，所以node是i/o非阻塞株依。可以理解node并不是單純的單線程延窜，只是js運(yùn)行是單線程的恋腕。所以node非常適合與I/O密集型的系統(tǒng)。雖然node是開(kāi)啟了多線程逆瑞，但是所有的多線程都是基于node服務(wù)進(jìn)程開(kāi)啟的荠藤，所以并不能充分利用cpu伙单，一個(gè)node實(shí)例，只能利用一個(gè)cpu核心哈肖，故node不適合cpu密集型系統(tǒng)吻育，nodejs是單線程的，進(jìn)行密集型的運(yùn)算會(huì)導(dǎo)致主線程掛起牡彻。
說(shuō)明
- node 在運(yùn)行時(shí)只生成了一個(gè) javascript 運(yùn)行環(huán)境
- node 只把 libuv 的 io/timer 接口提供給了 js 引擎
- js 引擎沒(méi)有異步扫沼，因?yàn)?js 引擎是在 node 的主線程調(diào)用
多進(jìn)程
- 由于單進(jìn)程單線程，無(wú)法充分利用cpu資源
- 采用多進(jìn)程去處理庄吼，也就是一個(gè)進(jìn)程利用一個(gè)cpu資源
child_process node提供的核心模塊
// worker 進(jìn)程
'use strict';
const http = require('http');
http.createServer(function(req, res) {
res.writeHead(200, { 'Content-Type': 'text/plain' });
res.end('Hello World');
}).listen(Math.round((1 + Math.random()) * 1000), '127.0.0.1');
//master 進(jìn)程
'use strict';
const child_process = require('child_process');
const cpu = require('os').cpus();
for (let i = 0; i < cpu.length; i++) {
child_process.fork('./worker.js');
}
利用child_process的fork方法缎除，我們可以fork出多個(gè)進(jìn)程。
image.png
目前基于master-work模型如下:
image.png
進(jìn)程ipc
- 采用master-work模型总寻，需要master對(duì)work進(jìn)程之前進(jìn)行通信
- fork創(chuàng)建子進(jìn)程后器罐，父進(jìn)程與子進(jìn)程之間將會(huì)創(chuàng)建IPC通道，通過(guò)IPC通道渐行，父子進(jìn)程之間才能通過(guò)message和send()傳遞消息
// master
'use strict';
const child_process = require('child_process');
const cpu = require('os').cpus();
for (let i = 0; i < cpu.length; i++) {
let child = child_process.fork('./worker.js');
child.on('message', function (m) {
console.log('parent got message:', m);
});
child.send({ hello: 'I am parent' });
}
//work
'use strict';
const http = require('http');
http.createServer(function(req, res) {
res.writeHead(200, { 'Content-Type': 'text/plain' });
res.end('Hello World');
}).listen(Math.round((1 + Math.random()) * 1000), '127.0.0.1');
process.on('message', function (m) {
console.log('child got message:', m);
});
process.send({ hello: 'I am child' });
- 此時(shí)并不能4個(gè)work進(jìn)程監(jiān)聽(tīng)同一個(gè)端口轰坊，通常的做法是，讓master監(jiān)聽(tīng)一個(gè)端口祟印，類似與一個(gè)代理處理負(fù)載均衡肴沫，此時(shí)master與work之間的通信就變得復(fù)雜，node提供的 process.send(message, [sendHandle]) 蕴忆，可以放我們傳入一個(gè)handler句柄颤芬。
// master
'use strict';
const child_process = require('child_process');
const cpu = require('os').cpus();
const server = require('net').createServer();
const works = [];
server.on('connection', function(socket) {
socket.end('handled by parent');
});
for (let i = 0; i < cpu.length; i++) {
const child = child_process.fork('./worker.js');
works.push(child);
}
server.listen(80, function() {
for (let i = 0; i < works.length; i++) {
works[i].send('server', server);
}
server.close();
});
// work
'use strict';
const http = require('http');
const server = http.createServer(function(req, res) {
res.writeHead(200, { 'Content-Type': 'text/plain' });
res.end('handled by child, pid is ' + process.pid + '\n');
});
process.on('message', function(m, tcp) {
if (m === 'server') {
tcp.on('connection', function(socket) {
server.emit('connection', socket);
});
}
});
- 此時(shí)我們的結(jié)構(gòu)如下：
image.png
image.png
這樣就完成了，多個(gè)進(jìn)程同時(shí)監(jiān)聽(tīng)同一個(gè)端口
自動(dòng)重啟
'use strict';
const child_process = require('child_process');
const cpu = require('os').cpus();
const server = require('net').createServer();
server.listen(80);
const workers = {};
server.on('connection', function(socket) {
socket.end('handled by parent');
});
const createWorker = function() {
const child = child_process.fork('./worker.js');
child.send('server', server);
workers[child.pid] = child;
console.log('Create worker. pid: ' + child.pid);
child.on('exit', function() {
console.log('Worker ' + child.pid + ' exited.');
delete workers[child.pid];
createWorker();
});
};
for (let i = 0; i < cpu.length; i++) {
createWorker();
}
process.on('exit', function() {
for (const pid in workers) {
workers[pid].kill();
}
});
// 當(dāng)某個(gè)work進(jìn)程異常時(shí)套鹅，就會(huì)自動(dòng)?xùn)|西啟動(dòng)一個(gè)新的進(jìn)程處理
數(shù)據(jù)共享
一般有2種方案
- 數(shù)據(jù)存儲(chǔ)在master中
- 引用外部存儲(chǔ)機(jī)制如redis站蝠，文件，db
cluster 核心模塊
官方提供用法：
const cluster = require('cluster');
const http = require('http');
const numCPUs = require('os').cpus().length;
if (cluster.isMaster) {
console.log(`主進(jìn)程 ${process.pid} 正在運(yùn)行`);
// 衍生工作進(jìn)程卓鹿。
for (let i = 0; i < numCPUs; i++) {
cluster.fork();
}
cluster.on('exit', (worker, code, signal) => {
console.log(`工作進(jìn)程 ${worker.process.pid} 已退出`);
});
} else {
// 工作進(jìn)程可以共享任何 TCP 連接菱魔。
// 在本例子中，共享的是一個(gè) HTTP 服務(wù)器吟孙。
http.createServer((req, res) => {
res.writeHead(200);
res.end('你好世界\n');
}).listen(8000);
console.log(`工作進(jìn)程 ${process.pid} 已啟動(dòng)`);
}
cluster其實(shí)是net跟child_proccess 的封裝
注意
除非自定義一些進(jìn)程處理機(jī)制澜倦，手動(dòng)管理進(jìn)程的調(diào)度，一般建議用成熟的框架pm2.0杰妓、forever等工具肥隆，無(wú)需手動(dòng)處理。
