pm2源碼分析

Node Cluster

Nodejs的設(shè)計架構(gòu)和nginx類似,是多進程單線程模型茸塞。由于Node單線程的限制躲庄,在多核服務(wù)器上,需啟動多個進程才能最大化地利用服務(wù)器的性能钾虐。Node V0.8以后引入了cluster模塊读跷,它通過一個主進程(Master)管理多個子進程(Worker)的方式實現(xiàn)集群功能。 下面是一個簡單的例子:

// master
var cluster = require('cluster');
var numCPUs = require('os').cpus().length;
 
if (cluster.isMaster) {
    console.log(numCPUs);
    for (var i = 0; i < numCPUs; i++) {
        var worker = cluster.fork();
    }
} else {
    require("./app.js");
}

// worker
var http = require('http');
http.createServer(function(req, res) {
    res.writeHead(200);
    res.end("hello world\n");
}).listen(8000);
通信

主進程和子進程之間通過IPC(Inter-Process Communication禾唁,進程間通信)實現(xiàn)進程間的通信效览。進程間通過send方法發(fā)送信息无切,通過監(jiān)聽message事件收取信息,這和cluster模塊繼承的EventEmitter對象是一致的:

// master
// 監(jiān)聽子進程的事件
worker.on('message', function(message) {
    console.log(message.from + ': ' + message.type + ' ' + message.data.number + ' = ' + message.data.result);
});
// 往子進程中發(fā)送消息
for(var wid in cluster.workers) {
    cluster.workers[wid].send({
        type: 'masterToWorker',
        from: 'master',
        data: {
            number: Math.floor(Math.random() * 50)
        }
    });
}

// worker
// 子進程監(jiān)聽事件 并發(fā)送回主進程
process.on('message', function(message) {
    if(message.type === 'masterToWorker') {
        process.send({
            type:'workerTomaster',
            from: 'Worker ' + process.pid,
            data: {}
        });
    }
});
負載均衡

通過例子可知丐枉,子進程是通過cluster.fork()方法實現(xiàn)的哆键。linux的fork是系統(tǒng)提供的產(chǎn)生進程的方法,那么為什么需要借助cluster去實現(xiàn)集群瘦锹,而不直接fork呢籍嘹?這里的問題概括為兩個:

  1. fork的進程監(jiān)聽統(tǒng)一端口,會報端口暫用的錯誤
  2. fork的進程之間由于沒有負載均衡弯院,容易把請求集中到一個或者幾個進程上辱士,從而造成驚群問題

對于問題1,cluster模塊對net模塊進行hack處理听绳,如果是Master進程颂碘,那么監(jiān)聽端口;若是Worker進程椅挣,那么不會監(jiān)聽头岔。
對于問題2,cluster自帶了負載均衡功能鼠证。Master進程負責(zé)接收請求峡竣,然后根據(jù)調(diào)度算法轉(zhuǎn)發(fā)給某一個子進程。默認的調(diào)度算法是round-robin量九,也就是把請求依次分給每個子進程适掰,每個子進程處理的請求數(shù)是相同的。 可以通過環(huán)境變量修改調(diào)度算法:

env NODE_CLUSTER_SCHED_POLICY="none" node app.js

通過源碼解析 Node.js 中 cluster 模塊的主要功能實現(xiàn) 這邊文章中有對這問題1的詳細分析荠列。

pm2

pm2基于cluster進行了封裝类浪,它能自動監(jiān)控進程狀態(tài)、重啟進程弯予、停止不穩(wěn)定的進程(避免無限循環(huán))等戚宦。利用pm2時,可以在不修改代碼(如果自己實現(xiàn)锈嫩,需要參考上面的例子進行修改)的情況下實現(xiàn)負載均衡集群受楼。 具體的用法可以參見官網(wǎng) 或者 PM2 介紹

pm2源碼

pm2的源碼地址是 https://github.com/Unitech/pm2 呼寸。bin文件夾下的pm2文件艳汽,負責(zé)處理命令行輸入;lib文件夾下的 Satan.jsGod.js 存放主要邏輯对雪,前者要調(diào)用后者的方法河狐。

源碼結(jié)構(gòu)

先來一張pm2的架構(gòu)圖:


框架圖.png

pm2包括 Satan進程God Deamon守護進程進程間的遠程調(diào)用rpc馋艺、cluster等幾個概念:

  1. 如果不知道點西方文化栅干,還真搞不清他的文件名為啥是 Satan 和 God:

撒旦(Satan),主要指《圣經(jīng)》中的墮天使(也稱墮天使撒旦)捐祠,被看作與上帝的力量相對的邪惡碱鳞、黑暗之源,是God的對立面踱蛀。

Satan.js提供了程序的退出窿给、殺死等方法,因此它是魔鬼率拒;God.js 負責(zé)維護進程的正常運行崩泡,當有異常退出時能保證重啟,所以它是上帝猬膨。作者這么命名角撞,我只能說一句:oh my god。
God進程啟動后一直運行寥掐,它相當于cluster中的Master進程靴寂,守護者worker進程的正常運行磷蜀。

  1. rpc(Remote Procedure Call Protocol)是指遠程過程調(diào)用召耘,也就是說兩臺服務(wù)器A,B褐隆,一個應(yīng)用部署在A服務(wù)器上污它,想要調(diào)用B服務(wù)器上應(yīng)用提供的函數(shù)/方法,由于不在一個內(nèi)存空間庶弃,不能直接調(diào)用衫贬,需要通過網(wǎng)絡(luò)來表達調(diào)用的語義和傳達調(diào)用的數(shù)據(jù)。同一機器不同進程間的方法調(diào)用也屬于rpc的作用范疇歇攻。
    代碼中采用了axon-rpcaxon 兩個庫固惯,基本原理是提供服務(wù)的server綁定到一個域名和端口下,調(diào)用服務(wù)的client連接端口實現(xiàn)rpc連接缴守。 后續(xù)新版本采用了pm2-axon-rpcpm2-axon兩個庫葬毫,綁定的方法也由端口變成.sock文件,因為采用port可能會和現(xiàn)有進程的端口產(chǎn)生沖突屡穗。
執(zhí)行流程

程序的執(zhí)行流程圖如下:


執(zhí)行流程.png

每次命令行的輸入都會執(zhí)行一次satan程序贴捡。如果God進程不在運行,首先需要啟動God進程村砂。然后根據(jù)指令烂斋,satan通過rpc調(diào)用God中對應(yīng)的方法執(zhí)行相應(yīng)的邏輯。
pm2 start app.js -i 4為例,God在初次執(zhí)行時會配置cluster汛骂,同時監(jiān)聽cluster中的事件:

// 配置cluster
cluster.setupMaster({
  exec : path.resolve(path.dirname(module.filename), 'ProcessContainer.js')
});

// 監(jiān)聽cluster事件
(function initEngine() {
  cluster.on('online', function(clu) {
    // worker進程在執(zhí)行
    God.clusters_db[clu.pm_id].status = 'online';
  });

  // 命令行中 kill pid 會觸發(fā)exit事件罕模,process.kill不會觸發(fā)exit
  cluster.on('exit', function(clu, code, signal) {
    // 重啟進程 如果重啟次數(shù)過于頻繁直接標注為stopped
    God.clusters_db[clu.pm_id].status = 'starting';

    // 邏輯
    ...
  });
})();

在God啟動后, 會建立Satan和God的rpc鏈接帘瞭,然后調(diào)用prepare方法手销。prepare方法會調(diào)用cluster.fork,完成集群的啟動:

God.prepare = function(opts, cb) {
  ...
  return execute(opts, cb);
};
function execute(env, cb) {
  ...
  var clu = cluster.fork(env);
  ...
  God.clusters_db[id] = clu;

  clu.once('online', function() {
    God.clusters_db[id].status = 'online';
    if (cb) return cb(null, clu);
    return true;
  });

  return clu;
}
執(zhí)行結(jié)果

在linux中图张,通過 ps aux | grep node 可以看到運行中的node進程:

node進程.png

我一直在想為啥pm2沒有master進程锋拖,后來讀了源碼才知道它的master進程就是Deamon進程,而且進程名字也做了修改祸轮。由于ps aux | grep ** 這個指令對大小寫敏感兽埃,所以要大寫的PM才能找到:
God Deamon進程.png

小技巧

分享幾個在閱讀pm2源碼時,可能用到的小技巧:

  1. 如何調(diào)試源碼
    在源碼 package.json 文件中可以看到 bin 這個屬性适袜,通過npm安裝后柄错,就可以執(zhí)行pm2這個指令。
    pm2的執(zhí)行環(huán)境是node苦酱,如果想本地運行pm2源碼售貌,可以采用如下方式啟動:
node  /pm2文件路徑/bin/pm2  要啟動的服務(wù)(app.js)  

根據(jù)上面的配置,實現(xiàn)pm2的啟動疫萤。別忘了Webstorm這個前端利器颂跨。

  1. 多進程調(diào)試
    由于cluster是多進程模式,如果對子進程進行調(diào)試扯饶,需要在啟動子進程時添加調(diào)試參數(shù)恒削。在源碼中fork()的地方添加如下參數(shù),同時要注意端口沖突:
  fork('worker.js', [], {
      env: {},
      silent : false,
      execArgv: ['--debug-brk=13789']   // 子進程調(diào)試端口設(shè)置
  })
  1. 如何讀源碼
    pm2工程從13年開始已經(jīng)有了很多個版本的演進尾序。如果拿最新版本的源碼去讀钓丰,由于它包含了很多輔助功能,往往會被搞的頭暈眼花每币。
    我選擇從第一個穩(wěn)定版本(tag 為0.4.10)入手分析其基本執(zhí)行原理携丁,這個版本的功能比較簡單,也是程序結(jié)構(gòu)最清晰的時候兰怠。
    可以通過 git taggit checkout *** 切換到特定版本梦鉴,然后debug 運行調(diào)試分析。
總結(jié)

pm2也是采用cluster.fork實現(xiàn)的集群痕慢,這也就是所謂的萬變不離其宗尚揣。由于God Deamon這個Master進程一直執(zhí)行,可以保證對每一個子進程監(jiān)聽事件掖举,從而進行相應(yīng)的操作快骗。

參考文章

解讀Node.js的cluster模塊
關(guān)于pm2的fork啟動模式和cluster模式的區(qū)別
Node.js clustering made easy with PM2
TODO:淺談pm2基本工作原理
通過源碼解析 Node.js 中 cluster 模塊的主要功能實現(xiàn)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子方篮,更是在濱河造成了極大的恐慌名秀,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件藕溅,死亡現(xiàn)場離奇詭異匕得,居然都是意外死亡,警方通過查閱死者的電腦和手機巾表,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進店門汁掠,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人集币,你說我怎么就攤上這事考阱。” “怎么了鞠苟?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵乞榨,是天一觀的道長。 經(jīng)常有香客問我当娱,道長吃既,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任跨细,我火速辦了婚禮鹦倚,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘扼鞋。我一直安慰自己申鱼,他們只是感情好愤诱,可當我...
    茶點故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布云头。 她就那樣靜靜地躺著,像睡著了一般淫半。 火紅的嫁衣襯著肌膚如雪溃槐。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天科吭,我揣著相機與錄音昏滴,去河邊找鬼。 笑死对人,一個胖子當著我的面吹牛谣殊,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播牺弄,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼姻几,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蛇捌,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤抚恒,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后络拌,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體俭驮,經(jīng)...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年春贸,在試婚紗的時候發(fā)現(xiàn)自己被綠了混萝。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡萍恕,死狀恐怖譬圣,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情雄坪,我是刑警寧澤厘熟,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布,位于F島的核電站维哈,受9級特大地震影響绳姨,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜阔挠,卻給世界環(huán)境...
    茶點故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一飘庄、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧购撼,春花似錦跪削、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至揩局,卻和暖如春毫玖,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背凌盯。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工付枫, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人驰怎。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓阐滩,卻偏偏與公主長得像,于是被迫代替她去往敵國和親县忌。 傳聞我的和親對象是個殘疾皇子掂榔,可洞房花燭夜當晚...
    茶點故事閱讀 43,724評論 2 351

推薦閱讀更多精彩內(nèi)容