Node Cluster
Nodejs的設(shè)計架構(gòu)和nginx類似,是多進程單線程模型茸塞。由于Node單線程的限制躲庄,在多核服務(wù)器上,需啟動多個進程才能最大化地利用服務(wù)器的性能钾虐。Node V0.8以后引入了cluster模塊读跷,它通過一個主進程(Master)管理多個子進程(Worker)的方式實現(xiàn)集群功能。 下面是一個簡單的例子:
// master
var cluster = require('cluster');
var numCPUs = require('os').cpus().length;
if (cluster.isMaster) {
console.log(numCPUs);
for (var i = 0; i < numCPUs; i++) {
var worker = cluster.fork();
}
} else {
require("./app.js");
}
// worker
var http = require('http');
http.createServer(function(req, res) {
res.writeHead(200);
res.end("hello world\n");
}).listen(8000);
通信
主進程和子進程之間通過IPC(Inter-Process Communication禾唁,進程間通信)實現(xiàn)進程間的通信效览。進程間通過send方法發(fā)送信息无切,通過監(jiān)聽message事件收取信息,這和cluster模塊繼承的EventEmitter對象是一致的:
// master
// 監(jiān)聽子進程的事件
worker.on('message', function(message) {
console.log(message.from + ': ' + message.type + ' ' + message.data.number + ' = ' + message.data.result);
});
// 往子進程中發(fā)送消息
for(var wid in cluster.workers) {
cluster.workers[wid].send({
type: 'masterToWorker',
from: 'master',
data: {
number: Math.floor(Math.random() * 50)
}
});
}
// worker
// 子進程監(jiān)聽事件 并發(fā)送回主進程
process.on('message', function(message) {
if(message.type === 'masterToWorker') {
process.send({
type:'workerTomaster',
from: 'Worker ' + process.pid,
data: {}
});
}
});
負載均衡
通過例子可知丐枉,子進程是通過cluster.fork()
方法實現(xiàn)的哆键。linux的fork是系統(tǒng)提供的產(chǎn)生進程的方法,那么為什么需要借助cluster去實現(xiàn)集群瘦锹,而不直接fork呢籍嘹?這里的問題概括為兩個:
- fork的進程監(jiān)聽統(tǒng)一端口,會報端口暫用的錯誤
- fork的進程之間由于沒有負載均衡弯院,容易把請求集中到一個或者幾個進程上辱士,從而造成驚群問題
對于問題1,cluster模塊對net模塊進行hack處理听绳,如果是Master進程颂碘,那么監(jiān)聽端口;若是Worker進程椅挣,那么不會監(jiān)聽头岔。
對于問題2,cluster自帶了負載均衡功能鼠证。Master進程負責(zé)接收請求峡竣,然后根據(jù)調(diào)度算法轉(zhuǎn)發(fā)給某一個子進程。默認的調(diào)度算法是round-robin量九,也就是把請求依次分給每個子進程适掰,每個子進程處理的請求數(shù)是相同的。 可以通過環(huán)境變量修改調(diào)度算法:
env NODE_CLUSTER_SCHED_POLICY="none" node app.js
在 通過源碼解析 Node.js 中 cluster 模塊的主要功能實現(xiàn) 這邊文章中有對這問題1的詳細分析荠列。
pm2
pm2基于cluster進行了封裝类浪,它能自動監(jiān)控進程狀態(tài)、重啟進程弯予、停止不穩(wěn)定的進程(避免無限循環(huán))等戚宦。利用pm2時,可以在不修改代碼(如果自己實現(xiàn)锈嫩,需要參考上面的例子進行修改)的情況下實現(xiàn)負載均衡集群受楼。 具體的用法可以參見官網(wǎng) 或者 PM2 介紹。
pm2源碼
pm2的源碼地址是 https://github.com/Unitech/pm2 呼寸。bin
文件夾下的pm2
文件艳汽,負責(zé)處理命令行輸入;lib
文件夾下的 Satan.js
和 God.js
存放主要邏輯对雪,前者要調(diào)用后者的方法河狐。
源碼結(jié)構(gòu)
先來一張pm2的架構(gòu)圖:
pm2包括 Satan進程、God Deamon守護進程、進程間的遠程調(diào)用rpc馋艺、cluster等幾個概念:
- 如果不知道點西方文化栅干,還真搞不清他的文件名為啥是 Satan 和 God:
撒旦(Satan),主要指《圣經(jīng)》中的墮天使(也稱墮天使撒旦)捐祠,被看作與上帝的力量相對的邪惡碱鳞、黑暗之源,是God的對立面踱蛀。
Satan.js提供了程序的退出窿给、殺死等方法,因此它是魔鬼率拒;God.js 負責(zé)維護進程的正常運行崩泡,當有異常退出時能保證重啟,所以它是上帝猬膨。作者這么命名角撞,我只能說一句:oh my god。
God進程啟動后一直運行寥掐,它相當于cluster中的Master進程靴寂,守護者worker進程的正常運行磷蜀。
-
rpc(Remote Procedure Call Protocol)是指遠程過程調(diào)用召耘,也就是說兩臺服務(wù)器A,B褐隆,一個應(yīng)用部署在A服務(wù)器上污它,想要調(diào)用B服務(wù)器上應(yīng)用提供的函數(shù)/方法,由于不在一個內(nèi)存空間庶弃,不能直接調(diào)用衫贬,需要通過網(wǎng)絡(luò)來表達調(diào)用的語義和傳達調(diào)用的數(shù)據(jù)。同一機器不同進程間的方法調(diào)用也屬于rpc的作用范疇歇攻。
代碼中采用了axon-rpc 和 axon 兩個庫固惯,基本原理是提供服務(wù)的server綁定到一個域名和端口下,調(diào)用服務(wù)的client連接端口實現(xiàn)rpc連接缴守。 后續(xù)新版本采用了pm2-axon-rpc 和 pm2-axon兩個庫葬毫,綁定的方法也由端口變成.sock文件,因為采用port可能會和現(xiàn)有進程的端口產(chǎn)生沖突屡穗。
執(zhí)行流程
程序的執(zhí)行流程圖如下:
每次命令行的輸入都會執(zhí)行一次satan程序贴捡。如果God進程不在運行,首先需要啟動God進程村砂。然后根據(jù)指令烂斋,satan通過rpc調(diào)用God中對應(yīng)的方法執(zhí)行相應(yīng)的邏輯。
以 pm2 start app.js -i 4
為例,God在初次執(zhí)行時會配置cluster汛骂,同時監(jiān)聽cluster中的事件:
// 配置cluster
cluster.setupMaster({
exec : path.resolve(path.dirname(module.filename), 'ProcessContainer.js')
});
// 監(jiān)聽cluster事件
(function initEngine() {
cluster.on('online', function(clu) {
// worker進程在執(zhí)行
God.clusters_db[clu.pm_id].status = 'online';
});
// 命令行中 kill pid 會觸發(fā)exit事件罕模,process.kill不會觸發(fā)exit
cluster.on('exit', function(clu, code, signal) {
// 重啟進程 如果重啟次數(shù)過于頻繁直接標注為stopped
God.clusters_db[clu.pm_id].status = 'starting';
// 邏輯
...
});
})();
在God啟動后, 會建立Satan和God的rpc鏈接帘瞭,然后調(diào)用prepare方法手销。prepare方法會調(diào)用cluster.fork
,完成集群的啟動:
God.prepare = function(opts, cb) {
...
return execute(opts, cb);
};
function execute(env, cb) {
...
var clu = cluster.fork(env);
...
God.clusters_db[id] = clu;
clu.once('online', function() {
God.clusters_db[id].status = 'online';
if (cb) return cb(null, clu);
return true;
});
return clu;
}
執(zhí)行結(jié)果
在linux中图张,通過 ps aux | grep node
可以看到運行中的node進程:
我一直在想為啥pm2沒有master進程锋拖,后來讀了源碼才知道它的master進程就是Deamon進程,而且進程名字也做了修改祸轮。由于
ps aux | grep **
這個指令對大小寫敏感兽埃,所以要大寫的PM才能找到:小技巧
分享幾個在閱讀pm2源碼時,可能用到的小技巧:
- 如何調(diào)試源碼
在源碼package.json
文件中可以看到bin
這個屬性适袜,通過npm安裝后柄错,就可以執(zhí)行pm2這個指令。
pm2的執(zhí)行環(huán)境是node苦酱,如果想本地運行pm2源碼售貌,可以采用如下方式啟動:
node /pm2文件路徑/bin/pm2 要啟動的服務(wù)(app.js)
根據(jù)上面的配置,實現(xiàn)pm2的啟動疫萤。別忘了Webstorm這個前端利器颂跨。
- 多進程調(diào)試
由于cluster是多進程模式,如果對子進程進行調(diào)試扯饶,需要在啟動子進程時添加調(diào)試參數(shù)恒削。在源碼中fork()的地方添加如下參數(shù),同時要注意端口沖突:
fork('worker.js', [], {
env: {},
silent : false,
execArgv: ['--debug-brk=13789'] // 子進程調(diào)試端口設(shè)置
})
- 如何讀源碼
pm2工程從13年開始已經(jīng)有了很多個版本的演進尾序。如果拿最新版本的源碼去讀钓丰,由于它包含了很多輔助功能,往往會被搞的頭暈眼花每币。
我選擇從第一個穩(wěn)定版本(tag 為0.4.10)入手分析其基本執(zhí)行原理携丁,這個版本的功能比較簡單,也是程序結(jié)構(gòu)最清晰的時候兰怠。
可以通過git tag
和git checkout ***
切換到特定版本梦鉴,然后debug 運行調(diào)試分析。
總結(jié)
pm2也是采用cluster.fork實現(xiàn)的集群痕慢,這也就是所謂的萬變不離其宗尚揣。由于God Deamon這個Master進程一直執(zhí)行,可以保證對每一個子進程監(jiān)聽事件掖举,從而進行相應(yīng)的操作快骗。
參考文章
解讀Node.js的cluster模塊
關(guān)于pm2的fork啟動模式和cluster模式的區(qū)別
Node.js clustering made easy with PM2
TODO:淺談pm2基本工作原理
通過源碼解析 Node.js 中 cluster 模塊的主要功能實現(xiàn)