閱讀本文大約需要 19 分鐘
Hello 大家好，我是虎珀事扭！
今天跟大家分享「一條 Redis 命令是如何執(zhí)行的捎稚？」，想要用好 Redis求橄，了解它的內(nèi)部原理必不可少今野。
只有熟悉 Redis 的內(nèi)部執(zhí)行原理，在開發(fā)時(shí)罐农，我們就能考慮到 Redis 每一個(gè)執(zhí)行步驟条霜，做到胸有成竹。
注：本文源碼基于 Redis 6.2
01 Redis 模塊與架構(gòu)
首先涵亏，我們來「拆解」Redis宰睡。當(dāng)我們熟悉 Redis 的模塊時(shí)，定位問題才能直擊本質(zhì)气筋。
先問大家一個(gè)問題拆内，你對「 Redis 」的架構(gòu)認(rèn)識是怎樣的？
這里我總結(jié)了 Redis 的核心模塊宠默，如下圖所示：
從宏觀來看矛纹，Redis 可以分為單個(gè)結(jié)點(diǎn)、主從副本光稼、Sentinel（哨兵）或南、Cluster（集群）。
從微觀來看艾君，Redis 內(nèi)部劃分為事件驅(qū)動層采够、命令層、內(nèi)存分配/回收冰垄、RDB/AOF 持久化蹬癌、監(jiān)控與統(tǒng)計(jì)。
- Redis 客戶端：官方提供了 C 語言開發(fā)的客戶端。除了發(fā)送命令外逝薪，還支持性能分析隅要、性能測試等。你可以通過 redis-cli -h 來查看董济。
- 事件驅(qū)動層：Redis 基于 IO 多路復(fù)用步清，封裝了短小精悍的高性能網(wǎng)絡(luò)框架 ae。內(nèi)部集成了 fileEvent（新建連接虏肾、讀廓啊、寫事件），timeEvent（時(shí)間事件）封豪。
- 命令層：負(fù)責(zé)執(zhí)行各種命令谴轮。如 GET、SET吹埠、LPUSH 等等第步。
- 內(nèi)存分配/回收：Redis 基于 jemalloc 提供了快速、低碎片率的內(nèi)存分配模塊缘琅。
- RDB 與 AOF：Redis 提供的持久化策略雌续，以保證數(shù)據(jù)可靠性。
- Replaction 副本：Redis 通過副本胯杭，實(shí)現(xiàn)「主-從」運(yùn)行模式驯杜，是故障切換的基石，用來提高系統(tǒng)運(yùn)行可靠性做个。也支持讀寫分離鸽心，提高性能。
- Sentinel 哨兵：哨兵用來支持故障時(shí)居暖，主從結(jié)點(diǎn)自動切換顽频。哨兵為 Redis 高可用提供了保障。
- Cluster 集群：Redis 基于數(shù)據(jù)分片太闺，以支持橫向擴(kuò)展的一種高性能模式糯景。
- 監(jiān)控與統(tǒng)計(jì)：Redis 提供了豐富的監(jiān)控信息和性能分析工具，包含內(nèi)存使用省骂、big key 統(tǒng)計(jì)蟀淮、熱點(diǎn) key 統(tǒng)計(jì)、基準(zhǔn)測試等等钞澳。
02 Redis 等于單線程怠惶？
你可能在網(wǎng)絡(luò)上聽過一種說法，「Redis 是單線程的」轧粟，又或者「Redis 執(zhí)行命令是單線程的」策治。
那么脓魏，Redis 等于單線程嗎？我畫了一張圖供你參考通惫。
上圖可分為 3 個(gè)模塊
- 主線程和 IO 線程：負(fù)責(zé)命令讀取茂翔、解析、結(jié)果返回履腋。命令執(zhí)行由主線程完成珊燎。
- bio 線程：負(fù)責(zé)執(zhí)行耗時(shí)的異步任務(wù)。
- 后臺進(jìn)程：fork 子進(jìn)程來執(zhí)行耗時(shí)的命令府树。
在 Redis 6 以前，從命令接收到執(zhí)行料按，主要由主線程來完成奄侠。Redis 6 引入了 IO 多線程。IO 線程功能是接收命令载矿、解析命令垄潮、發(fā)送結(jié)果。
除此之外闷盔，Redis 還有后臺線程弯洗，用來處理耗時(shí)的任務(wù)，稱為 bio 線程家族逢勾。bio 線程功能目前有 3 點(diǎn)：
- close fd：關(guān)閉文件描述符牡整。
- AOF fsync：fsync 刷盤。
- Lazy Free：異步釋放對象內(nèi)存溺拱。
IO 線程和 bio 線程是在 Redis server 啟動時(shí)初始化的逃贝。你可以在源碼中找到。
void InitServerLast() {
// 初始化 bio 線程
bioInit();
// 初始化 IO 線程
initThreadedIO();
...
}
IO 線程和 bio 線程通過「生產(chǎn)者-消費(fèi)者」模型來執(zhí)行任務(wù)迫摔。如下圖所示
主線程會將「就緒讀」沐扳、「就緒寫」客戶端列表，分發(fā)到 IO 線程隊(duì)列 io_threads_list 中句占。IO 線程通過 IOThreadMain 函數(shù)消費(fèi)沪摄。
主線程會將 bio 任務(wù)提交到 bio_jobs 任務(wù)隊(duì)列中，由 bio 后臺線程通過 bioProcessBackgroundJobs 函數(shù)消費(fèi)纱烘。
除這些線程外杨拐，Redis 為了避免阻塞主線程，在執(zhí)行 bgsave擂啥、bgrewriteaof 命令時(shí)戏阅，會通過 fork 子進(jìn)程來執(zhí)行。你可以參考以下函數(shù)：
// RDB 后臺進(jìn)程任務(wù)
int rdbSaveBackground(char *filename, rdbSaveInfo *rsi);
// AOF 后臺進(jìn)程任務(wù)
int rewriteAppendOnlyFileBackground(void);
03 Redis 事件驅(qū)動模型
在分析命令執(zhí)行前啤它，我們先來看看 Redis 最核心的模塊——事件驅(qū)動奕筐。
「事件驅(qū)動模型」很常見舱痘，可以認(rèn)為是高性能網(wǎng)絡(luò)組件的標(biāo)準(zhǔn)。通常离赫，事件驅(qū)動分為注冊事件芭逝、事件觸發(fā)、處理事件 3 個(gè)步驟渊胸。
Redis 注冊的事件可分為兩類：
- fileEvent：網(wǎng)絡(luò)事件旬盯，包括新建連接、讀翎猛、寫事件胖翰。
- timeEvent：時(shí)間事件，特定時(shí)間執(zhí)行的任務(wù)切厘。
其中萨咳，新建連接事件在 Redis 啟動時(shí)注冊。當(dāng) Redis 收到新建連接請求后疫稿，會調(diào)用 「acceptTcpHandler」培他。
void initServer(void) {
// 注冊新建連接回調(diào)函數(shù) acceptTcpHandler
if (createSocketAcceptHandler(&server.ipfd, acceptTcpHandler) != C_OK) {
serverPanic("Unrecoverable error creating TCP socket accept handler.");
}
}
讀事件處理函數(shù)「readQueryFromClient」，在新建連接時(shí)注冊 遗座。
寫事件處理函數(shù)「sendReplyToClient」舀凛，在發(fā)送執(zhí)行結(jié)果時(shí)注冊。
// 讀事件處理函數(shù)途蒋。新建連接時(shí)注冊
connSetReadHandler(conn, readQueryFromClient);
// 寫事件處理函數(shù)猛遍。單次事件循環(huán)，無法發(fā)完數(shù)據(jù)時(shí)注冊
connSetWriteHandler(c->conn, sendReplyToClient)
在 Redis server 啟動后号坡，就進(jìn)入了事件循環(huán)「aeMain」螃壤。
void aeMain(aeEventLoop *eventLoop) {
eventLoop->stop = 0;
while (!eventLoop->stop) {
// 事件循環(huán)處理函數(shù)
// 關(guān)注讀、寫、時(shí)間事件
aeProcessEvents(eventLoop, AE_ALL_EVENTS|
AE_CALL_BEFORE_SLEEP|
AE_CALL_AFTER_SLEEP);
}
}
單次事件循環(huán) aeProcessEvents 函數(shù)簡化后，執(zhí)行流程如下魄藕。
int aeProcessEvents(aeEventLoop *eventLoop, int flags)
{
int processed = 0, numevents;
if (eventLoop->maxfd != -1 ||
((flags & AE_TIME_EVENTS) && !(flags & AE_DONT_WAIT))) {
// 事件觸發(fā)前執(zhí)行函數(shù) beforeSleep
if (eventLoop->beforesleep != NULL && flags & AE_CALL_BEFORE_SLEEP)
eventLoop->beforesleep(eventLoop);
// 獲取觸發(fā)事件
numevents = aeApiPoll(eventLoop, tvp);
// 事件觸發(fā)后執(zhí)行函數(shù) afterSleep
if (eventLoop->aftersleep != NULL && flags & AE_CALL_AFTER_SLEEP)
eventLoop->aftersleep(eventLoop);
// 循環(huán)處理事件
for (j = 0; j < numevents; j++) {
aeFileEvent *fe = &eventLoop->events[eventLoop->fired[j].fd];
// 執(zhí)行讀事件回調(diào)函數(shù) rfileProc
if (fe->mask & mask & AE_READABLE)
fe->rfileProc(eventLoop,fd,fe->clientData,mask);
// 執(zhí)行寫事件回調(diào)函數(shù) wfileProc
if (fe->mask & mask & AE_WRITABLE)
fe->wfileProc(eventLoop,fd,fe->clientData,mask);
}
}
// 時(shí)間事件
if (flags & AE_TIME_EVENTS)
processed += processTimeEvents(eventLoop);
return processed;
}
其中「beforeSleep」函數(shù)。在每次事件觸發(fā)前寄啼，會執(zhí)行一些特定功能。
04 一條 Redis 命令是如何執(zhí)行的代箭？
了解完事件模塊墩划，我們來看「一條 Redis 命令是如何執(zhí)行的」。下圖我梳理了執(zhí)行流程嗡综。
首先乙帮，客戶端發(fā)起請求，由 Redis 事件驅(qū)動模塊 ae 接收极景。ae 是一個(gè)基于 IO 多路復(fù)用的 while 無限循環(huán)（Linux 下基于 epoll）察净。
ae 模塊在接收連接請求后驾茴，會觸發(fā)「新建連接事件」，由 「acceptTcpHandler」 函數(shù)執(zhí)行氢卡。該函數(shù)負(fù)責(zé)接收連接锈至、新建連接，以及初始化 client 數(shù)據(jù)結(jié)構(gòu)译秦。
你可以參考如下函數(shù)調(diào)用流程峡捡。
上圖最后一步「createClient」，會在初始化 client 數(shù)據(jù)結(jié)構(gòu)的同時(shí)筑悴，設(shè)置讀事件回調(diào)函數(shù) 「readQueryFromClient」们拙。該回調(diào)函數(shù)是 Redis 執(zhí)行命令的核心入口。
client *createClient(connection *conn) {
client *c = zmalloc(sizeof(client));
...
if (conn) {
// 設(shè)置讀事件回調(diào)函數(shù) readQueryFromClient
// 接收命令時(shí)觸發(fā)
connSetReadHandler(conn, readQueryFromClient);
}
...
}
「acceptTcpHandler」函數(shù)執(zhí)行完畢后阁吝，一條 Redis 客戶端連接就創(chuàng)建成功了砚婆！
接著我們發(fā)起命令
127.0.0.1:6379> SET foo bar
OK
Redis 收到命令后，觸發(fā) ae 模塊「讀事件」求摇，進(jìn)入「readQueryFromClient」執(zhí)行流程射沟。該流程判斷是否啟用 IO 多線程殊者，選擇以下兩條分支之一与境。
- 若啟用，則主線程將該連接客戶端加入「clients_pending_read」讀就緒隊(duì)列猖吴，并將客戶端 flag 標(biāo)記為「CLIENT_PENDING_READ」摔刁，表示可讀。下一次循環(huán)時(shí)海蔽，會將 clients_pending_read 隊(duì)列分發(fā)給 IO 線程和主線程共屈，執(zhí)行讀取請求、解析命令等操作党窜。最終拗引，由主線程執(zhí)行命令。
- 若未啟用幌衣，則主線程「獨(dú)自」執(zhí)行讀取命令矾削、解析命令、執(zhí)行命令豁护、發(fā)送結(jié)果等全部流程哼凯。
其中，解析命令流程楚里，會解析客戶端發(fā)來的請求字符串断部。具體為以下兩個(gè)步驟。
- 找到命令對應(yīng)的執(zhí)行函數(shù)班缎，放到 client->cmd->proc 中蝴光。
- 解析參數(shù)她渴，放到 client->argv、client->argc 中虱疏。
Redis 所有命令的執(zhí)行函數(shù)惹骂，保存在 「redisCommandTable」 中。SET 命令對應(yīng)為「setCommand」做瞪。
struct redisCommand redisCommandTable[] = {
...
{"set",setCommand,-3,
"write use-memory @string",
0,NULL,1,1,1,0,0,0},
...
}
接下來对粪，我們重點(diǎn)分析開啟 IO 多線程場景。
前面我們提到装蓬，每次事件循環(huán)著拭，Redis 會執(zhí)行預(yù)處理函數(shù)「beforeSleep」，該函數(shù)內(nèi)會將 clients_pending_read 讀就緒隊(duì)列進(jìn)行分發(fā)牍帚。具體調(diào)用函數(shù)如下
int handleClientsWithPendingReadsUsingThreads(void) {
// 未開啟 IO 線程儡遮，直接返回
if (!server.io_threads_active || !server.io_threads_do_reads) return 0;
...
// 否則，分發(fā)「讀」就緒隊(duì)列到線程私有隊(duì)列 io_threads_list[target_id] 中
while((ln = listNext(&li))) {
client *c = listNodeValue(ln);
int target_id = item_id % server.io_threads_num;
listAddNodeTail(io_threads_list[target_id],c);
item_id++;
}
...
// 主線程執(zhí)行 io_threads_list[0] 任務(wù)
listRewind(io_threads_list[0],&li);
while((ln = listNext(&li))) {
client *c = listNodeValue(ln);
readQueryFromClient(c->conn);
}
listEmpty(io_threads_list[0]);
// 主線程等待其它 IO 線程執(zhí)行任務(wù)
while(1) {
unsigned long pending = 0;
for (int j = 1; j < server.io_threads_num; j++)
pending += getIOPendingCount(j);
if (pending == 0) break;
}
while(listLength(server.clients_pending_read)) {
...
// 主線程暗赶，執(zhí)行命令（已讀取完成鄙币，解析好的命令）。
if (processPendingCommandsAndResetClient(c) == C_ERR) {
continue;
}
...
}
return processed;
}
該函數(shù)遍歷 clients_pending_read 「讀」就緒隊(duì)列蹂随，將「讀」任務(wù)分發(fā)給 IO 線程和主線程的任務(wù)隊(duì)列「io_threads_list」十嘿。收到任務(wù)后，IO線程和主線程進(jìn)入「readQueryFromClient」執(zhí)行流程岳锁。注意绩衷，本次執(zhí)行 readQueryFromClient 前，client 狀態(tài)已被設(shè)置為 「CLIENT_PENDING_READ」 激率，所以執(zhí)行時(shí)咳燕，client 不會再次加入任務(wù)隊(duì)列，而是進(jìn)入真正的執(zhí)行流程乒躺。
為了方便你理解招盲，我畫了一張圖供你參考。
上圖中「readQueryFromClient」最后兩步嘉冒，通過 connRead 從 socket 讀取數(shù)據(jù)曹货，存放到 client querybuf 中。接著健爬，解析并找到可執(zhí)行的命令 setCommand控乾。最后，將該 client 標(biāo)記為 CLIENT_PENDING_COMMAND娜遵，表示為可執(zhí)行狀態(tài)蜕衡。
接下來，最重要的一點(diǎn)设拟，由 「主線程獨(dú)自執(zhí)行命令」 慨仿。執(zhí)行函數(shù)如下
int processPendingCommandsAndResetClient(client *c)
我畫了該函數(shù)執(zhí)行流程圖供你參考
其中久脯，c->cmd->proc 用來執(zhí)行真正的命令 setCommand。
執(zhí)行完命令后镰吆，主線程進(jìn)入最后一步「addReply」帘撰，調(diào)用 prepareClientToWrite，將執(zhí)行結(jié)果万皿，加入 「clients_pending_write」 寫就緒隊(duì)列中摧找，等待返回客戶端。
void addReply(client *c, robj *obj) {
// 加入 clients_pending_write 寫就緒隊(duì)列
if (prepareClientToWrite(c) != C_OK) return;
...
}
在進(jìn)入下一次事件循環(huán)時(shí)牢硅，beforeSleep 函數(shù)蹬耘，將 clients_pending_write 寫就緒隊(duì)列，分發(fā)給 IO 線程和主線程减余。執(zhí)行函數(shù)如下：
int handleClientsWithPendingWritesUsingThreads(void) {
// 如果開啟 IO 線程或者客戶端連接很少
// 主線程直接同步發(fā)送結(jié)果
if (server.io_threads_num == 1 || stopThreadedIOIfNeeded()) {
return handleClientsWithPendingWrites();
}
...
// 否則综苔，分發(fā) clients_pending_write 給 IO 線程和主線程執(zhí)行
while((ln = listNext(&li))) {
int target_id = item_id % server.io_threads_num;
// 添加到線程任務(wù)隊(duì)列
listAddNodeTail(io_threads_list[target_id],c);
item_id++;
}
...
// 主線程處理分配給自己的任務(wù)，這里是同步執(zhí)行
listRewind(io_threads_list[0],&li);
while((ln = listNext(&li))) {
client *c = listNodeValue(ln);
// 直接發(fā)送給客戶端
writeToClient(c,0);
}
// 等待 IO 線程執(zhí)行完畢
while(1) {
unsigned long pending = 0;
for (int j = 1; j < server.io_threads_num; j++)
pending += getIOPendingCount(j);
if (pending == 0) break;
}
// 如果同步寫數(shù)據(jù)位岔，沒有寫完如筛，則注冊寫事件
// 在下一次事件循環(huán)中觸發(fā)
listRewind(server.clients_pending_write,&li);
while((ln = listNext(&li))) {
client *c = listNodeValue(ln);
// 注冊寫事件
if (clientHasPendingReplies(c) &&
connSetWriteHandler(c->conn, sendReplyToClient) == AE_ERR)
{
freeClientAsync(c);
}
}
listEmpty(server.clients_pending_write);
}
最終，IO 線程和主線程抒抬，通過 「writeToClient」 函數(shù)杨刨，將命令執(zhí)行結(jié)果發(fā)送給客戶端。
以上就是「一條 Redis 命令的執(zhí)行流程」瞧剖。
05 總結(jié)
從上文拭嫁，我們可以得出結(jié)論：
「Redis 執(zhí)行命令是單線程的可免，在主線程中執(zhí)行」
「Redis 6 的 IO 多線程抓于，可以幫助主線程讀取數(shù)據(jù)、解析命令浇借、發(fā)送結(jié)果」
了解到這一點(diǎn)后捉撮，相信你也明白，為什么有些 Redis 規(guī)范會說妇垢，不要使用時(shí)間復(fù)雜度高的命令巾遭。因?yàn)闀枞骶€程，影響到其它命令的執(zhí)行闯估。
并且 Redis 6 提供的 IO 多線程灼舍，可以有效的提高 Redis 單結(jié)點(diǎn)性能。如果你使用的 Redis 版本較低涨薪，建議升級到 Redis 6 并開啟 IO 多線程骑素。
-End-
最后，歡迎大家關(guān)注我「虎珀」刚夺。
我會繼續(xù)寫出更好的技術(shù)文章献丑。
如果我的文章對你有所幫助末捣，還請幫忙點(diǎn)贊一下啦~
