在Redis的使用過(guò)程中相叁,經(jīng)常會(huì)遇到一些在特定時(shí)間之后就需要?jiǎng)h除的數(shù)據(jù)庐镐,Redis提供了鍵的過(guò)期時(shí)間這個(gè)功能來(lái)解決這個(gè)問(wèn)題。通過(guò)這個(gè)功能动分,可以讓特定的鍵在指定的時(shí)間之后自動(dòng)刪除振愿,而不需要手動(dòng)執(zhí)行刪除操作捷犹。
設(shè)置鍵的生存時(shí)間或過(guò)期時(shí)間
通過(guò)EXPIRE命令或者PEXPIRE命令弛饭,客戶端可以以秒或者毫秒精度為數(shù)據(jù)庫(kù)中的某個(gè)鍵設(shè)置生存時(shí)間(TimeToLive,TTL)萍歉,在經(jīng)過(guò)指定的秒數(shù)或者毫秒數(shù)之后侣颂,服務(wù)器就會(huì)自動(dòng)刪除生存時(shí)間為0的鍵:
127.0.0.1:6379> set key value
OK
127.0.0.1:6379> expire key 5 //設(shè)置過(guò)期時(shí)間為5s
(integer) 1
127.0.0.1:6379> get key //5s之內(nèi)執(zhí)行
"value"
127.0.0.1:6379> get key //5s之后執(zhí)行
(nil)
127.0.0.1:6379>
127.0.0.1:6379> set key value
OK
127.0.0.1:6379> pexpire key 5000 //設(shè)置過(guò)期時(shí)間為5000ms
(integer) 1
127.0.0.1:6379> get key //5000ms之內(nèi)執(zhí)行
"value"
127.0.0.1:6379> get key //5000ms之后執(zhí)行
(nil)
127.0.0.1:6379>
SETEX命令可以在設(shè)置一個(gè)字符串鍵的同時(shí)為鍵設(shè)置過(guò)期時(shí)間,其原理與EXPIRE命令設(shè)置過(guò)期時(shí)間的原理是完全一樣的枪孩。
EXPIREAT命令或PEXPIREAT命令憔晒,以秒或者毫秒精度給數(shù)據(jù)庫(kù)中的某個(gè)鍵設(shè)置過(guò)期時(shí)間(expire time),過(guò)期時(shí)間是一個(gè)UNIX時(shí)間戳蔑舞,當(dāng)鍵的過(guò)期時(shí)間來(lái)臨時(shí)拒担,服務(wù)器就會(huì)自動(dòng)從數(shù)據(jù)庫(kù)中刪除這個(gè)鍵:
127.0.0.1:6379> set key value
OK
127.0.0.1:6379> time
1) "1563250186"
2) "495791"
127.0.0.1:6379> expireat key 1563250199
(integer) 1
127.0.0.1:6379> get key
"value"
127.0.0.1:6379> get key
(nil)
127.0.0.1:6379>
TTL命令和PTTL命令接受一個(gè)帶有生存時(shí)間或者過(guò)期時(shí)間的鍵,返回這個(gè)鍵的剩余生存時(shí)間攻询,也就是从撼,返回距離這個(gè)鍵被服務(wù)器自動(dòng)刪除還有多長(zhǎng)時(shí)間:
127.0.0.1:6379> set key value
OK
127.0.0.1:6379> expire key 100 //設(shè)置過(guò)期時(shí)間為100s
(integer) 1
127.0.0.1:6379> ttl key
(integer) 95
127.0.0.1:6379> pttl key
(integer) 90167
127.0.0.1:6379> pttl key
(integer) -2
127.0.0.1:6379> set key value
OK
127.0.0.1:6379> time
1) "1563250520"
2) "97708"
127.0.0.1:6379> expireat key 1563250550 //設(shè)置過(guò)期時(shí)間為30s以后
(integer) 1
127.0.0.1:6379> ttl key
(integer) 13
127.0.0.1:6379> ttl key
(integer) 10
127.0.0.1:6379> ttl key
(integer) 2
127.0.0.1:6379> ttl key
(integer) -2
設(shè)置過(guò)期時(shí)間
Redis有四個(gè)不同的命令可以用于設(shè)置鍵的生存時(shí)間(鍵可以存在多久)或過(guò)期時(shí)間(鍵什么時(shí)候會(huì)被刪除):
- EXPIRE <key> <ttl> 命令用于將鍵key的生存時(shí)間設(shè)置為ttl秒。
- PEXPIRE <key> <ttl> 命令用于將鍵key的生存時(shí)間設(shè)置為ttl毫秒钧栖。
- EXPIREAT <key> <timestamp> 命令用于將鍵key的過(guò)期時(shí)間設(shè)置為timestamp所指定的秒數(shù)時(shí)間戳低零。
- PEXPIREAT <key> <timestamp> 命令用于將鍵key的過(guò)期時(shí)間設(shè)置為timestamp所指定的毫秒數(shù)時(shí)間戳。
備注:雖然有多種不同單位和不同形式的設(shè)置命令桐经,但實(shí)際上EXPIRE毁兆、PEXPIRE、EXPIREAT三個(gè)命令都是使用PEXPIREAT命令來(lái)實(shí)現(xiàn)的:無(wú)論客戶端執(zhí)行的是以上四個(gè)命令中的哪一個(gè)阴挣,經(jīng)過(guò)轉(zhuǎn)換之后气堕,最終的執(zhí)行效果都和執(zhí)行PEXPIREAT命令一樣。
EXPIRE命令轉(zhuǎn)換成PEXPIRE命令:
def EXPIRE(key,ttl_in_sec):
#將TTL從秒轉(zhuǎn)換成毫秒
ttl_in_ms = sec_to_ms(ttl_in_sec)
PEXPIRE(key, ttl_in_ms)
PEXPIRE命令轉(zhuǎn)換成PEXPIREAT命令:
def PEXPIRE(key,ttl_in_ms):
#獲取以毫秒計(jì)算的當(dāng)前UNIX時(shí)間戳
now_ms = get_current_unix_timestamp_in_ms()
#當(dāng)前時(shí)間加上TTL畔咧,得出毫秒格式的鍵過(guò)期時(shí)間
PEXPIREAT(key,now_ms+ttl_in_ms)
EXPIREAT命令轉(zhuǎn)換成PEXPIREAT命令:
def EXPIREAT(key,expire_time_in_sec):
# 將過(guò)期時(shí)間從秒轉(zhuǎn)換為毫秒
expire_time_in_ms = sec_to_ms(expire_time_in_sec)
PEXPIREAT(key, expire_time_in_ms)
最終茎芭,EXPIRE、PEXPIRE和EXPIREAT三個(gè)命令都會(huì)轉(zhuǎn)換成PEXPIREAT命令來(lái)執(zhí)行:
保存過(guò)期時(shí)間
redisDb結(jié)構(gòu)的expires字典保存了數(shù)據(jù)庫(kù)中所有鍵的過(guò)期時(shí)間誓沸,這個(gè)字典稱為過(guò)期字典:
- 過(guò)期字典的鍵是一個(gè)指針梅桩,這個(gè)指針指向鍵空間中的某個(gè)鍵對(duì)象(也即是某個(gè)數(shù)據(jù)庫(kù)鍵)。
- 過(guò)期字典的值是一個(gè)longlong類型的整數(shù)拜隧,這個(gè)整數(shù)保存了鍵所指向的數(shù)據(jù)庫(kù)鍵的過(guò)期時(shí)間——一個(gè)毫秒精度的UNIX時(shí)間戳宿百。
/* Redis database representation. There are multiple databases identified
* by integers from 0 (the default database) up to the max configured
* database. The database number is the 'id' field in the structure. */
typedef struct redisDb {
// 數(shù)據(jù)庫(kù)鍵空間,保存著數(shù)據(jù)庫(kù)中的所有鍵值對(duì)
dict *dict; /* The keyspace for this DB */
// 鍵的過(guò)期時(shí)間洪添,字典的鍵為鍵垦页,字典的值為過(guò)期事件 UNIX 時(shí)間戳
dict *expires; /* Timeout of keys with a timeout set */
// 正處于阻塞狀態(tài)的鍵
dict *blocking_keys; /* Keys with clients waiting for data (BLPOP) */
// 可以解除阻塞的鍵
dict *ready_keys; /* Blocked keys that received a PUSH */
// 正在被 WATCH 命令監(jiān)視的鍵
dict *watched_keys; /* WATCHED keys for MULTI/EXEC CAS */
struct evictionPoolEntry *eviction_pool; /* Eviction pool of keys */
// 數(shù)據(jù)庫(kù)號(hào)碼
int id; /* Database ID */
// 數(shù)據(jù)庫(kù)的鍵的平均 TTL ,統(tǒng)計(jì)信息
long long avg_ttl; /* Average TTL, just for stats */
} redisDb;
一個(gè)帶有過(guò)期字典的數(shù)據(jù)庫(kù)例子干奢,鍵空間保存了數(shù)據(jù)庫(kù)中的所有鍵值對(duì)痊焊,而過(guò)期字典則保存了數(shù)據(jù)庫(kù)鍵的過(guò)期時(shí)間。
備注:為了展示方便,圖中的鍵空間和過(guò)期字典中重復(fù)出現(xiàn)了兩次alphabet鍵對(duì)象和book鍵對(duì)象薄啥。在實(shí)際中辕羽,鍵空間的鍵和過(guò)期字典的鍵都指向同一個(gè)鍵對(duì)象,所以不會(huì)出現(xiàn)任何重復(fù)對(duì)象垄惧,也不會(huì)浪費(fèi)任何空間刁愿。
- 第一個(gè)鍵值對(duì)的鍵為alphabet鍵對(duì)象,值為1563350356000赘艳,這表示數(shù)據(jù)庫(kù)鍵alphabet的過(guò)期時(shí)間為1563350356000(2019-07-17 15:59:16)酌毡。
- 第二個(gè)鍵值對(duì)的鍵為book鍵對(duì)象,值為1563350529000蕾管,這表示數(shù)據(jù)庫(kù)鍵book的過(guò)期時(shí)間為1563350529000(2019-07-17 16:02:09)枷踏。
當(dāng)客戶端執(zhí)行PEXPIREAT命令(或者其他三個(gè)會(huì)轉(zhuǎn)換成PEXPIREAT命令的命令)為一個(gè)數(shù)據(jù)庫(kù)鍵設(shè)置過(guò)期時(shí)間時(shí),服務(wù)器會(huì)在數(shù)據(jù)庫(kù)的過(guò)期字典中關(guān)聯(lián)給定的數(shù)據(jù)庫(kù)鍵和過(guò)期時(shí)間掰曾。如果數(shù)據(jù)庫(kù)當(dāng)前的狀態(tài)如上圖所示旭蠕,那么在服務(wù)器執(zhí)行以下命令之后:
127.0.0.1:6379> set message "Hello World"
OK
127.0.0.1:6379> pexpireat message 1563351324000 //過(guò)期時(shí)間為2019-07-17 16:15:24
(integer) 1
127.0.0.1:6379> get message
"Hello World"
127.0.0.1:6379> get message
(nil)
這時(shí)過(guò)期字典將新增一個(gè)鍵值對(duì),其中鍵為message鍵對(duì)象旷坦,而值則為1563351324000(2019-07-17 16:15:24)掏熬,如圖所示:
以下是PEXPIREAT命令的偽代碼定義:
def PEXPIREAT(key, expire_time_in_ms):
# 如果給定的鍵不存在于鍵空間,那么不能設(shè)置過(guò)期時(shí)間
if key not in redisDb.dict:
return 0
# 在過(guò)期字典中關(guān)聯(lián)鍵和過(guò)期時(shí)間
redisDb.expires[key] = expire_time_in_ms
# 過(guò)期時(shí)間設(shè)置成功
return 1
移除過(guò)期時(shí)間
PERSIST命令可以移除一個(gè)鍵的過(guò)期時(shí)間:
127.0.0.1:6379> set message "Hello World"
OK
127.0.0.1:6379> pexpireat message 1563352500000 //設(shè)置過(guò)期時(shí)間為2019-07-17 16:35:00
(integer) 1
127.0.0.1:6379> ttl message
(integer) 320
127.0.0.1:6379> pttl message
(integer) 309665
127.0.0.1:6379> persist message
(integer) 1
127.0.0.1:6379> ttl message
(integer) -1 //-1代表這個(gè)key沒(méi)有期時(shí)間
PERSIST命令就是PEXPIREAT命令的反操作:PERSIST命令在過(guò)期字典中查找給定的鍵秒梅,并解除鍵和值(過(guò)期時(shí)間)在過(guò)期字典中的關(guān)聯(lián)旗芬。
如果數(shù)據(jù)庫(kù)當(dāng)前的狀態(tài)如上圖所示,那么當(dāng)服務(wù)器執(zhí)行以下命令之后:
127.0.0.1:6379> persist book
(integer) 1
那么數(shù)據(jù)庫(kù)的狀態(tài)將更新為如下圖所示:
可以看到捆蜀,當(dāng)PERSIST命令執(zhí)行之后疮丛,過(guò)期字典中原來(lái)的book鍵值對(duì)消失了,這代表數(shù)據(jù)庫(kù)鍵book的過(guò)期時(shí)間已經(jīng)被移除辆它。
以下是PERSIST命令的偽代碼定義:
def PERSIST(key):
# 如果鍵不存在誊薄,或者鍵沒(méi)有設(shè)置過(guò)期時(shí)間,那么直接返回
if key not in redisDb.expires:
return 0
# 移除過(guò)期字典中給定鍵的鍵值對(duì)關(guān)聯(lián)
redisDb.expires.remove(key)
# 鍵的過(guò)期時(shí)間移除成功
return 1
計(jì)算并返回剩余生存時(shí)間
TTL命令以秒為單位返回鍵的剩余生存時(shí)間锰茉,而PTTL命令則以毫秒為單位返回鍵的剩余生存時(shí)間:
127.0.0.1:6379> rpush alphabet a b c
(integer) 3
127.0.0.1:6379> pexpireat alphabet 1563354600000
(integer) 1
127.0.0.1:6379> ttl alphabet
(integer) 106
127.0.0.1:6379> pttl alphabet
(integer) 102971
TTL和PTTL兩個(gè)命令都是通過(guò)計(jì)算鍵的過(guò)期時(shí)間和當(dāng)前時(shí)間之間的差來(lái)實(shí)現(xiàn)的呢蔫,以下是這兩個(gè)命令的偽代碼實(shí)現(xiàn):
def PTTL(key):
# 鍵不存在于數(shù)據(jù)庫(kù)
if key not in redisDb.dict:
return -2
# 嘗試取得鍵的過(guò)期時(shí)間
# 如果鍵沒(méi)有設(shè)置過(guò)期時(shí)間,那么 expire_time_in_ms 將為 None
expire_time_in_ms = redisDb.expires.get(key)
# 鍵沒(méi)有設(shè)置過(guò)期時(shí)間
if expire_time_in_ms is None:
return -1
# 獲得當(dāng)前時(shí)間
now_ms = get_current_unix_timestamp_in_ms()
# 過(guò)期時(shí)間減去當(dāng)前時(shí)間飒筑,得出的差就是鍵的剩余生存時(shí)間
return(expire_time_in_ms - now_ms)
def TTL(key):
# 獲取以毫秒為單位的剩余生存時(shí)間
ttl_in_ms = PTTL(key)
#處理返回值為-2和-1的情況
if ttl_in_ms < 0:
return ttl_in_ms
else:
# 將毫秒轉(zhuǎn)換為秒
return ms_to_sec(ttl_in_ms)
過(guò)期鍵的判定
通過(guò)過(guò)期字典片吊,程序可以用以下步驟檢查一個(gè)給定鍵是否過(guò)期:
- 檢查給定鍵是否存在于過(guò)期字典:如果存在,那么取得鍵的過(guò)期時(shí)間协屡。
- 檢查當(dāng)前UNIX時(shí)間戳是否大于鍵的過(guò)期時(shí)間:如果是的話俏脊,那么鍵已經(jīng)過(guò)期;否則的話著瓶,鍵未過(guò)期。
def is_expired(key):
# 取得鍵的過(guò)期時(shí)間
expire_time_in_ms = redisDb.expires.get(key)
# 鍵沒(méi)有設(shè)置過(guò)期時(shí)間
if expire_time_in_ms is None:
return False
# 取得當(dāng)前時(shí)間的UNIX時(shí)間戳
now_ms = get_current_unix_timestamp_in_ms()
# 檢查當(dāng)前時(shí)間是否大于鍵的過(guò)期時(shí)間
if now_ms > expire_time_in_ms:
# 是,鍵已經(jīng)過(guò)期
return True
else:
# 否材原,鍵未過(guò)期
return False
備注:實(shí)現(xiàn)過(guò)期鍵判定的另一種方法是使用TTL命令或者PTTL命令沸久,比如說(shuō),如果對(duì)某個(gè)鍵執(zhí)行TTL命令余蟹,并且命令返回的值大于等于0卷胯,那么說(shuō)明該鍵未過(guò)期。在實(shí)際中威酒,Redis檢查鍵是否過(guò)期的方法和is_expired函數(shù)所描述的方法一致窑睁,因?yàn)橹苯釉L問(wèn)字典比執(zhí)行一個(gè)命令稍微快一些。
過(guò)期鍵刪除策略
了解了數(shù)據(jù)庫(kù)鍵的過(guò)期時(shí)間都保存在過(guò)期字典中葵孤,以及如何根據(jù)過(guò)期時(shí)間去判斷一個(gè)鍵是否過(guò)期担钮,現(xiàn)在剩下的問(wèn)題是:如果一個(gè)鍵過(guò)期了,那么它什么時(shí)候會(huì)被刪除呢尤仍?
三種不同的刪除策略:
- 定時(shí)刪除:在設(shè)置鍵的過(guò)期時(shí)間的同時(shí)箫津,創(chuàng)建一個(gè)定時(shí)器(timer),讓定時(shí)器在鍵的過(guò)期時(shí)間來(lái)臨時(shí)宰啦,立即執(zhí)行對(duì)鍵的刪除操作苏遥。
- 惰性刪除:放任鍵過(guò)期不管,但是每次從鍵空間中獲取鍵時(shí)赡模,都檢查取得的鍵是否過(guò)期田炭,如果過(guò)期的話,就刪除該鍵漓柑;如果沒(méi)有過(guò)期教硫,就返回該鍵。
- 定期刪除:每隔一段時(shí)間欺缘,程序就對(duì)數(shù)據(jù)庫(kù)進(jìn)行一次檢查栋豫,刪除里面的過(guò)期鍵。至于要?jiǎng)h除多少過(guò)期鍵谚殊,以及要檢查多少個(gè)數(shù)據(jù)庫(kù)丧鸯,則由算法決定。
其中第一種和第三種為主動(dòng)刪除策略嫩絮,而第二種則為被動(dòng)刪除策略丛肢。
定時(shí)刪除
優(yōu)點(diǎn):對(duì)內(nèi)存是最友好的。通過(guò)使用定時(shí)器剿干,定時(shí)刪除策略可以保證過(guò)期鍵會(huì)盡可能快地被刪除蜂怎,并釋放過(guò)期鍵所占用的內(nèi)存。
缺點(diǎn):對(duì)CPU時(shí)間是最不友好的置尔。在過(guò)期鍵比較多的情況下杠步,刪除過(guò)期鍵這一行為可能會(huì)占用相當(dāng)一部分CPU時(shí)間,在內(nèi)存不緊張但是CPU時(shí)間非常緊張的情況下,將CPU時(shí)間用在刪除和當(dāng)前任務(wù)無(wú)關(guān)的過(guò)期鍵上幽歼,無(wú)疑會(huì)對(duì)服務(wù)器的響應(yīng)時(shí)間和吞吐量造成影響朵锣。
如果正有大量的命令請(qǐng)求在等待服務(wù)器處理,并且服務(wù)器當(dāng)前不缺少內(nèi)存甸私,那么服務(wù)器應(yīng)該優(yōu)先將CPU時(shí)間用在處理客戶端的命令請(qǐng)求上面诚些,而不是用在刪除過(guò)期鍵上面。
備注:創(chuàng)建一個(gè)定時(shí)器需要用到Redis服務(wù)器中的時(shí)間事件皇型,而當(dāng)前時(shí)間事件的實(shí)現(xiàn)方式——無(wú)序鏈表诬烹,查找一個(gè)事件的時(shí)間復(fù)雜度為O(N)——并不能高效地處理大量時(shí)間事件。
惰性刪除
優(yōu)點(diǎn):對(duì)CPU時(shí)間來(lái)說(shuō)是最友好的弃鸦。程序只會(huì)在取出鍵時(shí)才對(duì)鍵進(jìn)行過(guò)期檢查绞吁,這可以保證刪除過(guò)期鍵的操作只會(huì)在非做不可的情況下進(jìn)行,并且刪除的目標(biāo)僅限于當(dāng)前處理的鍵寡键,這個(gè)策略不會(huì)在刪除其他無(wú)關(guān)的過(guò)期鍵上花費(fèi)任何CPU時(shí)間掀泳。
缺點(diǎn):對(duì)內(nèi)存是最不友好的:如果一個(gè)鍵已經(jīng)過(guò)期,而這個(gè)鍵又仍然保留在數(shù)據(jù)庫(kù)中西轩,那么只要這個(gè)過(guò)期鍵不被刪除员舵,它所占用的內(nèi)存就不會(huì)釋放。
在使用惰性刪除策略時(shí)藕畔,如果數(shù)據(jù)庫(kù)中有非常多的過(guò)期鍵马僻,而這些過(guò)期鍵又恰好沒(méi)有被訪問(wèn)到的話,那么它們也許永遠(yuǎn)也不會(huì)被刪除(除非用戶手動(dòng)執(zhí)行FLUSHDB)注服,這種情況看作是一種內(nèi)存泄漏——無(wú)用的垃圾數(shù)據(jù)占用了大量的內(nèi)存韭邓,而服務(wù)器卻不會(huì)自己去釋放它們,對(duì)于運(yùn)行狀態(tài)非常依賴于內(nèi)存的Redis服務(wù)器來(lái)說(shuō)溶弟,可能會(huì)引發(fā)內(nèi)存使用問(wèn)題女淑。
例如對(duì)于一些和時(shí)間有關(guān)的數(shù)據(jù),比如日志(log)辜御,在某個(gè)時(shí)間點(diǎn)之后鸭你,對(duì)它們的訪問(wèn)就會(huì)大大減少,甚至不再訪問(wèn)擒权,如果這類過(guò)期數(shù)據(jù)大量地積壓在數(shù)據(jù)庫(kù)中袱巨,用戶以為服務(wù)器已經(jīng)自動(dòng)將它們刪除了,但實(shí)際上這些鍵仍然存在碳抄,而且鍵所占用的內(nèi)存也沒(méi)有釋放愉老,那么造成的后果肯定是非常嚴(yán)重的。
定期刪除
定時(shí)刪除占用太多CPU時(shí)間剖效,影響服務(wù)器的響應(yīng)時(shí)間和吞吐量嫉入。
惰性刪除浪費(fèi)太多內(nèi)存焰盗,有內(nèi)存泄漏的危險(xiǎn)。
定期刪除策略是前兩種策略的一種整合和折中:
- 定期刪除策略每隔一段時(shí)間執(zhí)行一次刪除過(guò)期鍵操作咒林,并通過(guò)限制刪除操作執(zhí)行的時(shí)長(zhǎng)和頻率來(lái)減少刪除操作對(duì)CPU時(shí)間的影響姨谷。
- 定期刪除策略有效地減少了因?yàn)檫^(guò)期鍵而帶來(lái)的內(nèi)存浪費(fèi)。
定期刪除策略的難點(diǎn)是確定刪除操作執(zhí)行的時(shí)長(zhǎng)和頻率:
- 如果刪除操作執(zhí)行得太頻繁映九,或者執(zhí)行的時(shí)間太長(zhǎng),定期刪除策略就會(huì)退化成定時(shí)刪除策略瞎颗,以至于將CPU時(shí)間過(guò)多地消耗在刪除過(guò)期鍵上面件甥。
- 如果刪除操作執(zhí)行得太少,或者執(zhí)行的時(shí)間太短哼拔,定期刪除策略又會(huì)和惰性刪除策略一樣引有,出現(xiàn)浪費(fèi)內(nèi)存的情況。
因此倦逐,如果采用定期刪除策略的話譬正,服務(wù)器必須根據(jù)情況,合理地設(shè)置刪除操作的執(zhí)行時(shí)長(zhǎng)和執(zhí)行頻率檬姥。
Redis的過(guò)期鍵刪除策略
Redis服務(wù)器使用的是惰性刪除和定期刪除兩種策略:通過(guò)配合使用這兩種刪除策略曾我,服務(wù)器可以很好地在合理使用CPU時(shí)間和避免浪費(fèi)內(nèi)存空間之間取得平衡。
惰性刪除策略的實(shí)現(xiàn)
過(guò)期鍵的惰性刪除策略由db.c/expireIfNeeded函數(shù)實(shí)現(xiàn)健民,所有讀寫(xiě)數(shù)據(jù)庫(kù)的Redis命令在執(zhí)行之前都會(huì)調(diào)用expireIfNeeded函數(shù)對(duì)輸入鍵進(jìn)行檢查:
- 如果輸入鍵已經(jīng)過(guò)期抒巢,那么expireIfNeeded函數(shù)將輸入鍵從數(shù)據(jù)庫(kù)中刪除。
- 如果輸入鍵未過(guò)期秉犹,那么expireIfNeeded函數(shù)不做動(dòng)作蛉谜。
/*
* 檢查 key 是否已經(jīng)過(guò)期,如果是的話崇堵,將它從數(shù)據(jù)庫(kù)中刪除型诚。
* 返回 0 表示鍵沒(méi)有過(guò)期時(shí)間,或者鍵未過(guò)期鸳劳。
* 返回 1 表示鍵已經(jīng)因?yàn)檫^(guò)期而被刪除了狰贯。*/
int expireIfNeeded(redisDb *db, robj *key) {
// 取出鍵的過(guò)期時(shí)間
mstime_t when = getExpire(db,key);
mstime_t now;
// 沒(méi)有過(guò)期時(shí)間
if (when < 0) return 0; /* No expire for this key */
/* Don't expire anything while loading. It will be done later. */
// 如果服務(wù)器正在進(jìn)行載入,那么不進(jìn)行任何過(guò)期檢查
if (server.loading) return 0;
/* If we are in the context of a Lua script, we claim that time is
* blocked to when the Lua script started. This way a key can expire
* only the first time it is accessed and not in the middle of the
* script execution, making propagation to slaves / AOF consistent.
* See issue #1525 on Github for more information. */
now = server.lua_caller ? server.lua_time_start : mstime();
/* If we are running in the context of a slave, return ASAP:
* the slave key expiration is controlled by the master that will
* send us synthesized DEL operations for expired keys.
*
* Still we try to return the right information to the caller,
* that is, 0 if we think the key should be still valid, 1 if
* we think the key is expired at this time. */
// 當(dāng)服務(wù)器運(yùn)行在 replication 模式時(shí)
// 附屬節(jié)點(diǎn)并不主動(dòng)刪除 key
// 它只返回一個(gè)邏輯上正確的返回值
// 真正的刪除操作要等待主節(jié)點(diǎn)發(fā)來(lái)刪除命令時(shí)才執(zhí)行
// 從而保證數(shù)據(jù)的同步
if (server.masterhost != NULL) return now > when;
// 運(yùn)行到這里棍辕,表示鍵帶有過(guò)期時(shí)間暮现,并且服務(wù)器為主節(jié)點(diǎn)
/* Return when this key has not expired */
// 如果未過(guò)期,返回 0
if (now <= when) return 0;
/* Delete the key */
server.stat_expiredkeys++;
// 向 AOF 文件和附屬節(jié)點(diǎn)傳播過(guò)期信息
propagateExpire(db,key);
// 發(fā)送事件通知
notifyKeyspaceEvent(REDIS_NOTIFY_EXPIRED,
"expired",key,db->id);
// 將過(guò)期鍵從數(shù)據(jù)庫(kù)中刪除
return dbDelete(db,key);
}
Redis命令調(diào)用expireIfNeeded函數(shù)的過(guò)程如圖所示:
expireIfNeeded函數(shù)就像一個(gè)過(guò)濾器楚昭,它可以在命令真正執(zhí)行之前栖袋,過(guò)濾掉過(guò)期的輸入鍵,從而避免命令接觸到過(guò)期鍵抚太。
因?yàn)槊總€(gè)被訪問(wèn)的鍵都可能因?yàn)檫^(guò)期而被expireIfNeeded函數(shù)刪除塘幅,所以每個(gè)命令的實(shí)現(xiàn)函數(shù)都必須能同時(shí)處理鍵存在以及鍵不存在這兩種情況:
- 當(dāng)鍵存在時(shí)昔案,命令按照鍵存在的情況執(zhí)行。
- 當(dāng)鍵不存在或者鍵因?yàn)檫^(guò)期而被expireIfNeeded函數(shù)刪除時(shí)电媳,命令按照鍵不存在的情況執(zhí)行踏揣。
定期刪除策略的實(shí)現(xiàn)
過(guò)期鍵的定期刪除策略由redis.c/activeExpireCycle函數(shù)實(shí)現(xiàn),每當(dāng)Redis的服務(wù)器周期性操作redis.c/serverCron函數(shù)執(zhí)行時(shí)匾乓,activeExpireCycle函數(shù)就會(huì)被調(diào)用捞稿,它在規(guī)定的時(shí)間內(nèi),分多次遍歷服務(wù)器中的各個(gè)數(shù)據(jù)庫(kù)拼缝,從數(shù)據(jù)庫(kù)的expires字典中隨機(jī)檢查一部分鍵的過(guò)期時(shí)間娱局,并刪除其中的過(guò)期鍵。
整個(gè)過(guò)程可以用偽代碼描述如下:
# 默認(rèn)每次檢查的數(shù)據(jù)庫(kù)數(shù)量
DEFAULT_DB_NUMBERS = 16
# 默認(rèn)每個(gè)數(shù)據(jù)庫(kù)檢查的鍵數(shù)量
DEFAULT_KEY_NUMBERS = 20
# 全局變量咧七,記錄檢查進(jìn)度
current_db = 0
def activeExpireCycle():
# 初始化要檢查的數(shù)據(jù)庫(kù)數(shù)量
# 如果服務(wù)器的數(shù)據(jù)庫(kù)數(shù)量比 DEFAULT_DB_NUMBERS 要小
# 那么以服務(wù)器的數(shù)據(jù)庫(kù)數(shù)量為準(zhǔn)
if server.dbnum < DEFAULT_DB_NUMBERS:
db_numbers = server.dbnum
else:
db_numbers = DEFAULT_DB_NUMBERS
# 遍歷各個(gè)數(shù)據(jù)庫(kù)
for i in range(db_numbers):
# 如果current_db的值等于服務(wù)器的數(shù)據(jù)庫(kù)數(shù)量
# 這表示檢查程序已經(jīng)遍歷了服務(wù)器的所有數(shù)據(jù)庫(kù)一次
# 將current_db重置為0衰齐,開(kāi)始新的一輪遍歷
if current_db == server.dbnum:
current_db = 0
# 獲取當(dāng)前要處理的數(shù)據(jù)庫(kù)
redisDb = server.db[current_db]
# 將數(shù)據(jù)庫(kù)索引增1,指向下一個(gè)要處理的數(shù)據(jù)庫(kù)
current_db += 1
# 檢查數(shù)據(jù)庫(kù)鍵
for j in range(DEFAULT_KEY_NUMBERS):
# 如果數(shù)據(jù)庫(kù)中沒(méi)有一個(gè)鍵帶有過(guò)期時(shí)間继阻,那么跳過(guò)這個(gè)數(shù)據(jù)庫(kù)
if redisDb.expires.size() == 0: break
# 隨機(jī)獲取一個(gè)帶有過(guò)期時(shí)間的鍵
key_with_ttl = redisDb.expires.get_random_key()
# 檢查鍵是否過(guò)期耻涛,如果過(guò)期就刪除它
if is_expired(key_with_ttl):
delete_key(key_with_ttl)
# 已達(dá)到時(shí)間上限,停止處理
if reach_time_limit(): return
activeExpireCycle函數(shù)的工作模式可以總結(jié)如下:
- 函數(shù)每次運(yùn)行時(shí)瘟檩,都從一定數(shù)量的數(shù)據(jù)庫(kù)中取出一定數(shù)量的隨機(jī)鍵進(jìn)行檢查抹缕,并刪除其中的過(guò)期鍵。
- 全局變量current_db會(huì)記錄當(dāng)前activeExpireCycle函數(shù)檢查的進(jìn)度墨辛,并在下一次activeExpireCycle函數(shù)調(diào)用時(shí)歉嗓,接著上一次的進(jìn)度進(jìn)行處理。比如說(shuō)背蟆,如果當(dāng)前activeExpireCycle函數(shù)在遍歷10號(hào)數(shù)據(jù)庫(kù)時(shí)返回了鉴分,那么下次activeExpireCycle函數(shù)執(zhí)行時(shí),將從11號(hào)數(shù)據(jù)庫(kù)開(kāi)始查找并刪除過(guò)期鍵带膀。
- 隨著activeExpireCycle函數(shù)的不斷執(zhí)行志珍,服務(wù)器中的所有數(shù)據(jù)庫(kù)都會(huì)被檢查一遍,這時(shí)函數(shù)將current_db變量重置為0垛叨,然后再次開(kāi)始新一輪的檢查工作伦糯。
AOF、RDB和復(fù)制功能對(duì)過(guò)期鍵的處理
生成RDB文件
在執(zhí)行SAVE命令或者BGSAVE命令創(chuàng)建一個(gè)新的RDB文件時(shí)嗽元,程序會(huì)對(duì)數(shù)據(jù)庫(kù)中的鍵進(jìn)行檢查敛纲,已過(guò)期的鍵不會(huì)被保存到新創(chuàng)建的RDB文件中。
例如剂癌,如果數(shù)據(jù)庫(kù)中包含三個(gè)鍵k1淤翔、k2、k3佩谷,并且k2已經(jīng)過(guò)期旁壮,那么當(dāng)執(zhí)行SAVE命令或者BGSAVE命令時(shí)监嗜,程序只會(huì)將k1和k3的數(shù)據(jù)保存到RDB文件中,而k2則會(huì)被忽略抡谐。
因此裁奇,數(shù)據(jù)庫(kù)中包含過(guò)期鍵不會(huì)對(duì)生成新的RDB文件造成影響。
載入RDB文件
在啟動(dòng)Redis服務(wù)器時(shí)麦撵,如果服務(wù)器開(kāi)啟了RDB功能刽肠,那么服務(wù)器將對(duì)RDB文件進(jìn)行載入:
- 如果服務(wù)器以主服務(wù)器模式運(yùn)行,那么在載入RDB文件時(shí)免胃,程序會(huì)對(duì)文件中保存的鍵進(jìn)行檢查五垮,未過(guò)期的鍵會(huì)被載入到數(shù)據(jù)庫(kù)中,而過(guò)期鍵則會(huì)被忽略杜秸,所以過(guò)期鍵對(duì)載入RDB文件的主服務(wù)器不會(huì)造成影響。
- 如果服務(wù)器以從服務(wù)器模式運(yùn)行润绎,那么在載入RDB文件時(shí)撬碟,文件中保存的所有鍵,不論是否過(guò)期莉撇,都會(huì)被載入到數(shù)據(jù)庫(kù)中呢蛤。不過(guò),因?yàn)橹鲝姆?wù)器在進(jìn)行數(shù)據(jù)同步的時(shí)候棍郎,從服務(wù)器的數(shù)據(jù)庫(kù)就會(huì)被清空其障,所以一般來(lái)講,過(guò)期鍵對(duì)載入RDB文件的從服務(wù)器也不會(huì)造成影響涂佃。
例如励翼,如果數(shù)據(jù)庫(kù)中包含三個(gè)鍵k1、k2辜荠、k3汽抚,并且k2已經(jīng)過(guò)期,那么當(dāng)服務(wù)器啟動(dòng)時(shí):
- 如果服務(wù)器以主服務(wù)器模式運(yùn)行伯病,那么程序只會(huì)將k1和k3載入到數(shù)據(jù)庫(kù)造烁,k2會(huì)被忽略。
- 如果服務(wù)器以從服務(wù)器模式運(yùn)行午笛,那么k1惭蟋、k2和k3都會(huì)被載入到數(shù)據(jù)庫(kù)。
AOF文件寫(xiě)入
當(dāng)服務(wù)器以AOF持久化模式運(yùn)行時(shí)药磺,如果數(shù)據(jù)庫(kù)中的某個(gè)鍵已經(jīng)過(guò)期告组,但它還沒(méi)有被惰性刪除或者定期刪除,那么AOF文件不會(huì)因?yàn)檫@個(gè)過(guò)期鍵而產(chǎn)生任何影響癌佩。
當(dāng)過(guò)期鍵被惰性刪除或者定期刪除之后惹谐,程序會(huì)向AOF文件追加(append)一條DEL命令持偏,來(lái)顯式地記錄該鍵已被刪除。
例如氨肌,如果客戶端使用GETmessage命令鸿秆,試圖訪問(wèn)過(guò)期的message鍵,那么服務(wù)器將執(zhí)行以下三個(gè)動(dòng)作:
- 從數(shù)據(jù)庫(kù)中刪除message鍵怎囚。
- 追加一條DELmessage命令到AOF文件卿叽。
- 向執(zhí)行GET命令的客戶端返回空回復(fù)。
AOF文件重寫(xiě)
和生成RDB文件時(shí)類似恳守,在執(zhí)行AOF重寫(xiě)的過(guò)程中考婴,程序會(huì)對(duì)數(shù)據(jù)庫(kù)中的鍵進(jìn)行檢查,已過(guò)期的鍵不會(huì)被保存到重寫(xiě)后的AOF文件中催烘。
例如沥阱,如果數(shù)據(jù)庫(kù)中包含三個(gè)鍵k1、k2伊群、k3考杉,并且k2已經(jīng)過(guò)期,那么在進(jìn)行重寫(xiě)工作時(shí)舰始,程序只會(huì)對(duì)k1和k3進(jìn)行重寫(xiě)崇棠,而k2則會(huì)被忽略。
因此丸卷,數(shù)據(jù)庫(kù)中包含過(guò)期鍵不會(huì)對(duì)AOF重寫(xiě)造成影響枕稀。
Redis復(fù)制
當(dāng)服務(wù)器運(yùn)行在復(fù)制模式下時(shí),從服務(wù)器的過(guò)期鍵刪除動(dòng)作由主服務(wù)器控制:
- 主服務(wù)器在刪除一個(gè)過(guò)期鍵之后谜嫉,會(huì)顯式地向所有從服務(wù)器發(fā)送一個(gè)DEL命令萎坷,告知從服務(wù)器刪除這個(gè)過(guò)期鍵。
- 從服務(wù)器在執(zhí)行客戶端發(fā)送的讀命令時(shí)沐兰,即使碰到過(guò)期鍵也不會(huì)將過(guò)期鍵刪除食铐,而是繼續(xù)像處理未過(guò)期的鍵一樣來(lái)處理過(guò)期鍵。
- 從服務(wù)器只有在接到主服務(wù)器發(fā)來(lái)的DEL命令之后僧鲁,才會(huì)刪除過(guò)期鍵虐呻。
通過(guò)由主服務(wù)器來(lái)控制從服務(wù)器統(tǒng)一地刪除過(guò)期鍵,可以保證主從服務(wù)器數(shù)據(jù)的一致性寞秃,也正是因?yàn)檫@個(gè)原因斟叼,當(dāng)一個(gè)過(guò)期鍵仍然存在于主服務(wù)器的數(shù)據(jù)庫(kù)時(shí),這個(gè)過(guò)期鍵在從服務(wù)器里的復(fù)制品也會(huì)繼續(xù)存在春寿。
例如朗涩,有一對(duì)主從服務(wù)器,它們的數(shù)據(jù)庫(kù)中都保存著同樣的三個(gè)鍵alphabet绑改、book和message谢床,其中alphabet為過(guò)期鍵兄一,如圖所示:
如果這時(shí)有客戶端向從服務(wù)器發(fā)送命令get alphabet,那么從服務(wù)器將發(fā)現(xiàn)alphabet鍵已經(jīng)過(guò)期识腿,但從服務(wù)器并不會(huì)刪除alphabet鍵出革,而是繼續(xù)將alphabet鍵的值返回給客戶端,就好像alphabet鍵并沒(méi)有過(guò)期一樣渡讼,如圖所示:
假設(shè)在此之后骂束,有客戶端向主服務(wù)器發(fā)送命令get alphabet,那么主服務(wù)器將發(fā)現(xiàn)鍵alphabet已經(jīng)過(guò)期:主服務(wù)器會(huì)刪除alphabet鍵成箫,向客戶端返回空回復(fù)展箱,并向從服務(wù)器發(fā)送del alphabet命令,如圖所示:
從服務(wù)器在接收到主服務(wù)器發(fā)來(lái)的del alphabet命令之后蹬昌,也會(huì)從數(shù)據(jù)庫(kù)中刪除alphabet鍵混驰,在這之后,主從服務(wù)器都不再保存過(guò)期鍵alphabet了皂贩,如圖所示:
總結(jié)
- expires字典的鍵指向數(shù)據(jù)庫(kù)中的某個(gè)鍵栖榨,而值則記錄了數(shù)據(jù)庫(kù)鍵的過(guò)期時(shí)間,過(guò)期時(shí)間是一個(gè)以毫秒為單位的UNIX時(shí)間戳先紫。
- Redis使用惰性刪除和定期刪除兩種策略來(lái)刪除過(guò)期的鍵:惰性刪除策略只在碰到過(guò)期鍵時(shí)才進(jìn)行刪除操作,定期刪除策略則每隔一段時(shí)間主動(dòng)查找并刪除過(guò)期鍵筹煮。
- 執(zhí)行SAVE命令或者BGSAVE命令所產(chǎn)生的新RDB文件不會(huì)包含已經(jīng)過(guò)期的鍵遮精。
- 執(zhí)行BGREWRITEAOF命令所產(chǎn)生的重寫(xiě)AOF文件不會(huì)包含已經(jīng)過(guò)期的鍵本冲。
- 當(dāng)一個(gè)過(guò)期鍵被刪除之后,服務(wù)器會(huì)追加一條DEL命令到現(xiàn)有AOF文件的末尾檬洞,顯式地刪除過(guò)期鍵。
- 當(dāng)主服務(wù)器刪除一個(gè)過(guò)期鍵之后沟饥,它會(huì)向所有從服務(wù)器發(fā)送一條DEL命令,顯式地刪除過(guò)期鍵购桑。
- 從服務(wù)器即使發(fā)現(xiàn)過(guò)期鍵也不會(huì)自作主張地刪除它榴徐,而是等待主節(jié)點(diǎn)發(fā)來(lái)DEL命令穆端,這種統(tǒng)一兢孝、中心化的過(guò)期鍵刪除策略可以保證主從服務(wù)器數(shù)據(jù)的一致性座咆。