- 簡單的骨架認知
- 插件使用(Plugins)
- 持久層方案(egg-sequelize)
- Worker 和 高效負載均衡
- Agent 代理角色
5-1. Master(進程守護)
5-2. Agent (代理進程)
5-3. 自定義 Agent
5-4. 進程之間通訊
筆者的其他文章推薦: 《JS 函數(shù)式編程思維簡述》
前言
? ? ? ?Worker 作為 Egg 中應(yīng)用的一個具體實例贺嫂,有效的解決了 nodejs 應(yīng)用對 CPU 利用率不足的問題箕戳。在生產(chǎn)環(huán)境中斧抱,每一個 APP 都相當于是一個 Worker,他的表現(xiàn)大致如下:
Master(進程守護)
? ? ? ?在這個多進程模型中,角色們都在履行著自己的職責荣恐。其中唯欣,Master 作為一個BOSS居触,主要負責啟動或重啟其他進程,以及負責進程之間的數(shù)據(jù)交互痹屹。
? ? ? ?這樣的設(shè)計結(jié)構(gòu)中章郁,我們創(chuàng)建了一組進程集群(cluster),并且共用一個端口號志衍,由 Master 捕獲請求參數(shù)暖庄,通過一定的負載均衡規(guī)則分發(fā)給被選中的 Worker,由 Worker 進行詳細的業(yè)務(wù)處理楼肪。不過這里還有一個問題:每一個進程開啟了一個web服務(wù)培廓,那么進程端口號不會沖突嗎?
? ? ? ?在使用 node.js 的 cluster
模塊 fork
子進程時春叫,它會保證當前需要的端口僅由master進程內(nèi)部的TCP服務(wù)器監(jiān)聽一次肩钠,而在創(chuàng)建子進程的過程中,重復監(jiān)聽的方法就會被干掉暂殖,因此也不會引發(fā)端口占用等問題价匠。
? ? ? ?而當某一個 Worker 在遇到未捕獲的異常需要掛掉時,Master 則會首先再 fork
一個子進程呛每,以保證運行過程中的 Worker 總數(shù)不變踩窖。然后待之前發(fā)生異常的 Worker 處理完當前手中的事務(wù)時,讓其安心的成佛晨横。
Agent (代理進程)
? ? ? ?在這個多進程模型中洋腮,還可能產(chǎn)生這樣一個問題:假設(shè)當前應(yīng)用中有一個模塊箫柳,需要每30分鐘獲取一次來自第三方接口的天氣數(shù)據(jù)。對于集群中的所有應(yīng)用而言啥供,這樣的數(shù)據(jù)實際上獲取一次作為緩存即可悯恍,但在實際應(yīng)用中,數(shù)據(jù)請求的次數(shù)卻是 1n (worker進程數(shù)) 次滤灯。
? ? ? ?我們能發(fā)現(xiàn)坪稽,在業(yè)務(wù)處理的過程中,會有一些依賴于每一個獨立請求的業(yè)務(wù)處理過程鳞骤,然而窒百,也存在著一些并非強依賴某一個請求的業(yè)務(wù)。于是豫尽,Egg 提供了一個專門用于處理公共事務(wù)的獨立進程——Agent*篙梢,來處理此類業(yè)務(wù):
進程啟動順序:
- Master 啟動后先 fork Agent 進程;
- Agent 初始化成功后美旧,通過 IPC 通道通知 Master渤滞;
- Master 再 fork 多個 App Worker;
- App Worker 初始化成功榴嗅,通知 Master妄呕;
- 所有的進程初始化成功后,Master 通知 Agent 和 Worker 應(yīng)用啟動成功嗽测;
自定義 Agent
我們可以在項目的根目錄下創(chuàng)建自己的 agent.ts
绪励,來實現(xiàn)自己的 Agent 邏輯:
// agent.ts
export default (agent) => {
// 在這里寫初始化邏輯
// ...
// 也可以通過 messenger 對象發(fā)送消息給 App Worker
// 但需要等待 App Worker 啟動成功后才能發(fā)送,不然很可能丟失
agent.messenger.on('egg-ready', () => {
const data = { ... };
agent.messenger.sendToApp('xxx_action', data);
});
};
而在項目根目錄中的 app.ts
中唠粥,我們可以以監(jiān)聽事件的方式疏魏,接收 觸發(fā)事件者
發(fā)送的參數(shù):
// agent.ts
export default (app) => {
app.messenger.on('xxx_action', data => {
// worker 進程中監(jiān)聽消息傳達事件并進行處理
});
};
進程之間通訊
進程之間的通訊主要分為以下幾種:
- Master -> Worker/Agent
- Worker -> Agent
- Agent -> Worker
- Worker -> Other Worker
發(fā)送消息
API | 描述 |
---|---|
app.messenger.broadcast(action, data) | 發(fā)送給所有的 agent / app 進程(包括自己) |
app.messenger.sendToApp(action, data) | 發(fā)送給所有的 app 進程 - 在 app 上調(diào)用該方法會發(fā)送給自己和其他的 app 進程 - 在 agent 上調(diào)用該方法會發(fā)送給所有的 app 進程 |
app.messenger.sendToAgent(action, data) | 發(fā)送給 agent 進程 - 在 app 上調(diào)用該方法會發(fā)送給 agent 進程 - 在 agent 上調(diào)用該方法會發(fā)送給 agent 自己 |
agent.messenger.sendRandom(action, data) | - app 上沒有該方法(現(xiàn)在 Egg 的實現(xiàn)是等同于 sentToAgent) - agent 會隨機發(fā)送消息給一個 app 進程(由 master 來控制發(fā)送給誰) |
app.messenger.sendTo(pid, action, data) | 發(fā)送給指定進程 |
接收消息
API | 描述 |
---|---|
app.messenger.on(action, callback) | 注冊相應(yīng)事件監(jiān)聽器 |
app.messenger.once(action, callback) | 只注冊一次相應(yīng)事件監(jiān)聽器 |
這是官方的一個 IPC + 定時任務(wù) 完成的示例:https://eggjs.org/zh-cn/core/cluster-and-ipc.html#ipc-實戰(zhàn)