本文對Redis的過期機制簡單的講解一下
講解之前我們先拋出一個問題,我們知道很多時候服務(wù)器經(jīng)常會用到redis作為緩存胸完,有很多數(shù)據(jù)都是臨時緩存一下,可能用過之后很久都不會再用到了(比如暫存session翘贮,又或者只存放日行情股票數(shù)據(jù))那么就會出現(xiàn)一下幾個問題了
- Redis會自己回收清理不用的數(shù)據(jù)嗎赊窥?
- 如果能,那如何配置狸页?
- 如果不能锨能,如何防止數(shù)據(jù)累加后大量占用存儲空間的問題?
之前一直接觸Redis不是很深入芍耘,最近項目當(dāng)中遇到一個需求場景址遇,需要清空一些存放在Redis的數(shù)據(jù),主要是通過一些時間進行過濾斋竞,刪除那些不滿足的數(shù)據(jù)倔约,但是這樣的工作每天都需要進行,那工作量就比較大了坝初,而且每天都需要按時去手動清理浸剩,這樣做也不切實際,后面發(fā)現(xiàn)Redis中有個設(shè)置時間過期的功能鳄袍,即對存儲在Redis數(shù)據(jù)庫中的值可以設(shè)置一個過期時間绢要。作為一個緩存數(shù)據(jù)庫,這是非常實用的拗小。這就是我們本文要講到的Redis過期機制袖扛。其實這個機制運用的場景十分廣泛,比如我們一般項目中的token或者一些登錄信息十籍,尤其是短信驗證碼都是有時間限制的,或者是限制請求次數(shù)唇礁,如果按照傳統(tǒng)的數(shù)據(jù)庫處理方式勾栗,一般都是自己判斷過期,這樣無疑會嚴(yán)重影響項目性能盏筐。
一围俘、設(shè)置過期時間
Redis對存儲值的過期處理實際上是針對該值的鍵(key)處理的,即時間的設(shè)置也是設(shè)置key的有效時間。Expires字典保存了所有鍵的過期時間界牡,Expires也被稱為過期字段簿寂。
- expire key time(以秒為單位)--這是最常用的方式
- setex(String key, int seconds, String value)--字符串獨有的方式
注:
1、除了字符串自己獨有設(shè)置過期時間的方法外宿亡,其他方法都需要依靠expire方法來設(shè)置時間
2常遂、如果沒有設(shè)置時間,那緩存就是永不過期
3挽荠、如果設(shè)置了過期時間克胳,之后又想讓緩存永不過期,使用persist key
1圈匆、常用方式
一般主要包括4種處理過期方漠另,其中expire都是以秒為單位,pexpire都是以毫秒為單位的跃赚。
<pre>1 EXPIRE key seconds //將key的生存時間設(shè)置為ttl秒
2 PEXPIRE key milliseconds //將key的生成時間設(shè)置為ttl毫秒
3 EXPIREAT key timestamp //將key的過期時間設(shè)置為timestamp所代表的的秒數(shù)的時間戳
4 PEXPIREAT key milliseconds-timestamp //將key的過期時間設(shè)置為timestamp所代表的的毫秒數(shù)的時間戳</pre>
備注:timestamp為unix時間戳(例如:timestamp=1499788800 表示將在2017.07.12過期)
1笆搓、2兩種方式是設(shè)置一個過期的時間段,就是咱們處理驗證碼最常用的策略纬傲,設(shè)置三分鐘或五分鐘后失效满败,把分鐘數(shù)轉(zhuǎn)換成秒或毫秒存儲到Redis中。
3嘹锁、4兩種方式是指定一個過期的時間 葫录,比如優(yōu)惠券的過期時間是某年某月某日,只是單位不一樣领猾。
下面我們就以EXPIREAT為例子簡單講解下用法米同。
返回值
一個整數(shù)值1或0,如下:
- 如果成功地為該鍵設(shè)置了超時時間摔竿,返回 1
- 如果鍵不存在或無法設(shè)置超時時間面粮,返回 0
語法
以下是以Redis的EXPIREAT命令的基本語法。
<pre>1 redis 127.0.0.1:6379> Expireat KEY_NAME TIME_IN_UNIX_TIMESTAMP</pre>
示例
首先继低,在Redis中創(chuàng)建一個鍵:akey
熬苍,并在akey
中設(shè)置一些值。
<pre>1 redis 127.0.0.1:6379> SET akey redis 2 OK</pre>
現(xiàn)在袁翁,為設(shè)置創(chuàng)建的鍵設(shè)置超時時間為60 秒柴底。
[](javascript:void(0); "復(fù)制代碼")
<pre> 1 127.0.0.1:6379> SET akey redis 2 OK
3 127.0.0.1:6379> EXPIREAT akey 1393840000
4 (integer) 1
5 127.0.0.1:6379> EXISTS akey 6 (integer) 0
7 127.0.0.1:6379> SET akey redis 8 OK
9 127.0.0.1:6379> EXPIREAT akey 1493840000
10 (integer) 1
11 127.0.0.1:6379> EXISTS akey 12 (integer) 1</pre>
](javascript:void(0); "復(fù)制代碼")
其他三個用法類似,這里不逐一闡述
2粱胜、字符串獨有方式
對字符串特殊處理的方式為SETEX命令柄驻,SETEX命令為指定的 key 設(shè)置值及其過期時間。如果 key 已經(jīng)存在焙压, SETEX 命令將會替換舊的值鸿脓。
返回值
設(shè)置成功時返回 OK 抑钟。
語法
Redis Setex 命令基本語法如下:
<pre>redis 127.0.0.1:6379> SETEX KEY_NAME TIMEOUT VALUE</pre>
示例
<pre>1 redis 127.0.0.1:6379> SETEX mykey 60 redis 2 OK 3 redis 127.0.0.1:6379> TTL mykey 4 60
5 redis 127.0.0.1:6379> GET mykey 6 "redis</pre>
二、3種過期策略
-
定時刪除
- 含義:在設(shè)置key的過期時間的同時野哭,為該key創(chuàng)建一個定時器在塔,讓定時器在key的過期時間來臨時,對key進行刪除
- 優(yōu)點:保證內(nèi)存被盡快釋放
- 缺點:
- 若過期key很多拨黔,刪除這些key會占用很多的CPU時間蛔溃,在CPU時間緊張的情況下,CPU不能把所有的時間用來做要緊的事兒蓉驹,還需要去花時間刪除這些key
- 定時器的創(chuàng)建耗時城榛,若為每一個設(shè)置過期時間的key創(chuàng)建一個定時器(將會有大量的定時器產(chǎn)生),性能影響嚴(yán)重
- 沒人用
-
惰性刪除
- 含義:key過期的時候不刪除态兴,每次從數(shù)據(jù)庫獲取key的時候去檢查是否過期狠持,若過期,則刪除瞻润,返回null喘垂。
- 優(yōu)點:刪除操作只發(fā)生在從數(shù)據(jù)庫取出key的時候發(fā)生,而且只刪除當(dāng)前key绍撞,所以對CPU時間的占用是比較少的正勒,而且此時的刪除是已經(jīng)到了非做不可的地步(如果此時還不刪除的話,我們就會獲取到了已經(jīng)過期的key了)
- 缺點:若大量的key在超出超時時間后傻铣,很久一段時間內(nèi)章贞,都沒有被獲取過,那么可能發(fā)生內(nèi)存泄露(無用的垃圾占用了大量的內(nèi)存)
-
定期刪除
- 含義:每隔一段時間執(zhí)行一次刪除(在redis.conf配置文件設(shè)置hz非洲,1s刷新的頻率)過期key操作
- 優(yōu)點:
- 通過限制刪除操作的時長和頻率鸭限,來減少刪除操作對CPU時間的占用--處理"定時刪除"的缺點
- 定期刪除過期key--處理"惰性刪除"的缺點
- 缺點
- 在內(nèi)存友好方面,不如"定時刪除"
- 在CPU時間友好方面两踏,不如"惰性刪除"
- 難點
- 合理設(shè)置刪除操作的執(zhí)行時長(每次刪除執(zhí)行多長時間)和執(zhí)行頻率(每隔多長時間做一次刪除)(這個要根據(jù)服務(wù)器運行情況來定了)
看完上面三種策略后可以得出以下結(jié)論:
定時刪除和定期刪除為主動刪除:Redis會定期主動淘汰一批已過去的key
惰性刪除為被動刪除:用到的時候才會去檢驗key是不是已過期败京,過期就刪除
惰性刪除為redis服務(wù)器內(nèi)置策略
定期刪除可以通過:
- 第一、配置redis.conf 的hz選項梦染,默認(rèn)為10 (即1秒執(zhí)行10次赡麦,100ms一次,值越大說明刷新頻率越快帕识,最Redis性能損耗也越大)
- 第二泛粹、配置redis.conf的maxmemory最大值,當(dāng)已用內(nèi)存超過maxmemory限定時肮疗,就會觸發(fā)主動清理策略
** 注意:**
- 上邊所說的數(shù)據(jù)庫指的是內(nèi)存數(shù)據(jù)庫晶姊,默認(rèn)情況下每一臺redis服務(wù)器有16個數(shù)據(jù)庫(關(guān)于數(shù)據(jù)庫的設(shè)置,看下邊代碼)族吻,默認(rèn)使用0號數(shù)據(jù)庫帽借,所有的操作都是對0號數(shù)據(jù)庫的操作,關(guān)于redis數(shù)據(jù)庫的存儲結(jié)構(gòu)超歌,查看 第八章 Redis數(shù)據(jù)庫結(jié)構(gòu)與讀寫原理
<pre># 設(shè)置數(shù)據(jù)庫數(shù)量砍艾。默認(rèn)為16個庫,默認(rèn)使用DB 0巍举,可以使用"select 1"來選擇一號數(shù)據(jù)庫
注意:由于默認(rèn)使用0號數(shù)據(jù)庫脆荷,那么我們所做的所有的緩存操作都存在0號數(shù)據(jù)庫上,
當(dāng)你在1號數(shù)據(jù)庫上去查找的時候懊悯,就查不到之前set過得緩存
若想將0號數(shù)據(jù)庫上的緩存移動到1號數(shù)據(jù)庫蜓谋,可以使用"move key 1" databases 16</pre>
- memcached只是用了惰性刪除,而Redis同時使用了惰性刪除與定期刪除炭分,這也是二者的一個不同點(可以看做是redis優(yōu)于memcached的一點)
- 對于惰性刪除而言桃焕,并不是只有獲取key的時候才會檢查key是否過期,在某些設(shè)置key的方法上也會檢查(eg.setnx key2 value2:該方法類似于memcached的add方法捧毛,如果設(shè)置的key2已經(jīng)存在观堂,那么該方法返回false,什么都不做呀忧;如果設(shè)置的key2不存在师痕,那么該方法設(shè)置緩存key2-value2。假設(shè)調(diào)用此方法的時候而账,發(fā)現(xiàn)redis中已經(jīng)存在了key2胰坟,但是該key2已經(jīng)過期了,如果此時不執(zhí)行刪除操作的話泞辐,setnx方法將會直接返回false笔横,也就是說此時并沒有重新設(shè)置key2-value2成功,所以對于一定要在setnx執(zhí)行之前铛碑,對key2進行過期檢查)
三狠裹、Redis采用的過期策略
惰性刪除+定期刪除
- 惰性刪除流程
- 在進行g(shù)et或setnx等操作時,先檢查key是否過期汽烦,
- 若過期涛菠,刪除key,然后執(zhí)行相應(yīng)操作撇吞;
- 若沒過期俗冻,直接執(zhí)行相應(yīng)操作
- 定期刪除流程(簡單而言,對指定個數(shù)個庫的每一個庫隨機刪除小于等于指定個數(shù)個過期key)
- 遍歷每個數(shù)據(jù)庫(就是redis.conf中配置的"database"數(shù)量牍颈,默認(rèn)為16)
- 檢查當(dāng)前庫中的指定個數(shù)個key(默認(rèn)是每個庫檢查20個key迄薄,注意相當(dāng)于該循環(huán)執(zhí)行20次,循環(huán)體時下邊的描述)
- 如果當(dāng)前庫中沒有一個key設(shè)置了過期時間煮岁,直接執(zhí)行下一個庫的遍歷
- 隨機獲取一個設(shè)置了過期時間的key讥蔽,檢查該key是否過期涣易,如果過期,刪除key
- 判斷定期刪除操作是否已經(jīng)達到指定時長冶伞,若已經(jīng)達到新症,直接退出定期刪除。
- 檢查當(dāng)前庫中的指定個數(shù)個key(默認(rèn)是每個庫檢查20個key迄薄,注意相當(dāng)于該循環(huán)執(zhí)行20次,循環(huán)體時下邊的描述)
- 遍歷每個數(shù)據(jù)庫(就是redis.conf中配置的"database"數(shù)量牍颈,默認(rèn)為16)
四响禽、RDB對過期key的處理
過期key對RDB沒有任何影響
- 從內(nèi)存數(shù)據(jù)庫持久化數(shù)據(jù)到RDB文件
- 持久化key之前徒爹,會檢查是否過期,過期的key不進入RDB文件
- 從RDB文件恢復(fù)數(shù)據(jù)到內(nèi)存數(shù)據(jù)庫
- 數(shù)據(jù)載入數(shù)據(jù)庫之前芋类,會對key先進行過期檢查隆嗅,如果過期,不導(dǎo)入數(shù)據(jù)庫(主庫情況)
五侯繁、AOF對過期key的處理
過期key對AOF沒有任何影響
- 從內(nèi)存數(shù)據(jù)庫持久化數(shù)據(jù)到AOF文件:
- 當(dāng)key過期后胖喳,還沒有被刪除,此時進行執(zhí)行持久化操作(該key是不會進入aof文件的巫击,因為沒有發(fā)生修改命令)
- 當(dāng)key過期后禀晓,在發(fā)生刪除操作時,程序會向aof文件追加一條del命令(在將來的以aof文件恢復(fù)數(shù)據(jù)的時候該過期的鍵就會被刪掉)
- AOF重寫
- 重寫時坝锰,會先判斷key是否過期粹懒,已過期的key不會重寫到aof文件
在運行情況下, Redis 以數(shù)據(jù)結(jié)構(gòu)的形式將數(shù)據(jù)維持在內(nèi)存中顷级, 為了讓這些數(shù)據(jù)在 Redis 重啟之后仍然可用凫乖, Redis 分別提供了 RDB 和 AOF 兩種持久化模式。
在 Redis 運行時弓颈, RDB 程序?qū)?dāng)前內(nèi)存中的數(shù)據(jù)庫快照保存到磁盤文件中帽芽, 在 Redis 重啟動時, RDB 程序可以通過載入 RDB 文件來還原數(shù)據(jù)庫的狀態(tài)翔冀。