絕大部分寫業(yè)務的程序員坪稽,在實際開發(fā)中使用 Redis 的時候力喷,只會 Set Value 和 Get Value 兩個操作弟孟,對 Redis 整體缺乏一個認知样悟。這里對 Redis 常見問題做一個總結窟她,解決大家的知識盲點。
1录肯、為什么使用 Redis
在項目中使用 Redis吊说,主要考慮兩個角度:性能和并發(fā)颁井。如果只是為了分布式鎖這些其他功能,還有其他中間件 Zookpeer 等代替养涮,并非一定要使用 Redis贯吓。
性能:
如下圖所示蜀变,我們在碰到需要執(zhí)行耗時特別久,且結果不頻繁變動的 SQL尊沸,就特別適合將運行結果放入緩存洼专。這樣,后面的請求就去緩存中讀取烟很,使得請求能夠迅速響應雾袱。
特別是在秒殺系統(tǒng)官还,在同一時間望伦,幾乎所有人都在點,都在下單…..執(zhí)行的是同一操作———向數據庫查數據腿箩。
根據交互效果的不同珠移,響應時間沒有固定標準钧惧。在理想狀態(tài)下滑潘,我們的頁面跳轉需要在瞬間解決语卤,對于頁內操作則需要在剎那間解決。
并發(fā):
如下圖所示钮孵,在大并發(fā)的情況下眼滤,所有的請求直接訪問數據庫诅需,數據庫會出現連接異常。這個時候赵刑,就需要使用 Redis 做一個緩沖操作般此,讓請求先訪問到 Redis,而不是直接訪問數據庫邀桑。
使用 Redis 的常見問題
緩存和數據庫雙寫一致性問題
緩存雪崩問題
緩存擊穿問題
緩存的并發(fā)競爭問題
2壁畸、單線程的 Redis 為什么這么快
這個問題是對 Redis 內部機制的一個考察瓤摧。很多人都不知道 Redis 是單線程工作模型玉吁。
原因主要是以下三點:
純內存操作
單線程操作进副,避免了頻繁的上下文切換
采用了非阻塞 I/O 多路復用機制
仔細說一說 I/O 多路復用機制影斑,打一個比方:小名在 A 城開了一家快餐店店机打,負責同城快餐服務残邀。小明因為資金限制,雇傭了一批配送員芥挣,然后小曲發(fā)現資金不夠了驱闷,只夠買一輛車送快遞。
經營方式一
客戶每下一份訂單空免,小明就讓一個配送員盯著空另,然后讓人開車去送。慢慢的小曲就發(fā)現了這種經營方式存在下述問題:
時間都花在了搶車上了蹋砚,大部分配送員都處在閑置狀態(tài)扼菠,搶到車才能去送摄杂。
隨著下單的增多,配送員也越來越多循榆,小明發(fā)現快遞店里越來越擠,沒辦法雇傭新的配送員了冯痢。
配送員之間的協(xié)調很花時間氮昧。
綜合上述缺點,小明痛定思痛浦楣,提出了經營方式二袖肥。
經營方式二
小明只雇傭一個配送員。當客戶下單振劳,小明按送達地點標注好椎组,依次放在一個地方。最后历恐,讓配送員依次開著車去送寸癌,送好了就回來拿下一個。上述兩種經營方式對比弱贼,很明顯第二種效率更高蒸苇。
在上述比喻中:
每個配送員→每個線程
每個訂單→每個 Socket(I/O 流)
訂單的送達地點→Socket 的不同狀態(tài)
客戶送餐請求→來自客戶端的請求
明曲的經營方式→服務端運行的代碼
一輛車→CPU 的核數
于是有了如下結論:
經營方式一就是傳統(tǒng)的并發(fā)模型,每個 I/O 流(訂單)都有一個新的線程(配送員)管理吮旅。
經營方式二就是 I/O 多路復用溪烤。只有單個線程(一個配送員),通過跟蹤每個 I/O 流的狀態(tài)(每個配送員的送達地點)庇勃,來管理多個 I/O 流檬嘀。
下面類比到真實的 Redis 線程模型,如圖所示:
Redis-client 在操作的時候责嚷,會產生具有不同事件類型的 Socket鸳兽。在服務端,有一段 I/O 多路復用程序罕拂,將其置入隊列之中揍异。然后,文件事件分派器聂受,依次去隊列中取蒿秦,轉發(fā)到不同的事件處理器中。
3蛋济、Redis 的數據類型及使用場景
一個合格的程序員棍鳖,這五種類型都會用到。
String
最常規(guī)的 set/get 操作,Value 可以是 String 也可以是數字渡处。一般做一些復雜的計數功能的緩存镜悉。
Hash
這里 Value 存放的是結構化的對象,比較方便的就是操作其中的某個字段医瘫。我在做單點登錄的時候侣肄,就是用這種數據結構存儲用戶信息,以 CookieId 作為 Key醇份,設置 30 分鐘為緩存過期時間稼锅,能很好的模擬出類似 Session 的效果。
List
使用 List 的數據結構僚纷,可以做簡單的消息隊列的功能矩距。另外,可以利用 lrange 命令怖竭,做基于 Redis 的分頁功能锥债,性能極佳,用戶體驗好痊臭。
Set
因為 Set 堆放的是一堆不重復值的集合哮肚。所以可以做全局去重的功能。我們的系統(tǒng)一般都是集群部署广匙,使用 JVM 自帶的 Set 比較麻煩允趟。另外,就是利用交集鸦致、并集拼窥、差集等操作,可以計算共同喜好蹋凝,全部的喜好谐岁,自己獨有的喜好等功能感凤。
Sorted Set
Sorted Set 多了一個權重參數 Score,集合中的元素能夠按 Score 進行排列闻葵∏榱洌可以做排行榜應用迄汛,取 TOP N 操作。Sorted Set 可以用來做延時任務骤视。
4鞍爱、Redis 的過期策略和內存淘汰機制
Redis 是否用到家,從這就能看出來专酗。比如你 Redis 只能存 5G 數據睹逃,可是你寫了 10G,那會刪 5G 的數據。怎么刪的沉填,這個問題思考過么疗隶?
正解:Redis 采用的是定期刪除+惰性刪除策略。
為什么不用定時刪除策略
定時刪除翼闹,用一個定時器來負責監(jiān)視 Key斑鼻,過期則自動刪除。雖然內存及時釋放猎荠,但是十分消耗 CPU 資源坚弱。在大并發(fā)請求下,CPU 要將時間應用在處理請求关摇,而不是刪除 Key荒叶,因此沒有采用這一策略。
定期刪除+惰性刪除如何工作
定期刪除拒垃,Redis 默認每個 100ms 檢查停撞,有過期 Key 則刪除。需要說明的是悼瓮,Redis 不是每個 100ms 將所有的 Key 檢查一次戈毒,而是隨機抽取進行檢查。如果只采用定期刪除策略横堡,會導致很多 Key 到時間沒有刪除埋市。于是,惰性刪除派上用場命贴。
采用定期刪除+惰性刪除就沒其他問題了么
不是的道宅,如果定期刪除沒刪除掉 Key。并且你也沒及時去請求 Key胸蛛,也就是說惰性刪除也沒生效污茵。這樣,Redis 的內存會越來越高葬项。那么就應該采用內存淘汰機制泞当。
在 redis.conf 中有一行配置:
# maxmemory-policy volatile-lru
該配置就是配內存淘汰策略的:
noeviction:當內存不足以容納新寫入數據時,新寫入操作會報錯民珍。
allkeys-lru:當內存不足以容納新寫入數據時襟士,在鍵空間中,移除最近最少使用的 Key嚷量。(推薦使用陋桂,目前項目在用這種)(最近最久使用算法)
allkeys-random:當內存不足以容納新寫入數據時,在鍵空間中蝶溶,隨機移除某個 Key嗜历。(應該也沒人用吧,你不刪最少使用 Key,去隨機刪)
volatile-lru:當內存不足以容納新寫入數據時秸脱,在設置了過期時間的鍵空間中落包,移除最近最少使用的 Key。這種情況一般是把 Redis 既當緩存摊唇,又做持久化存儲的時候才用咐蝇。(不推薦)
volatile-random:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中巷查,隨機移除某個 Key有序。(依然不推薦)
volatile-ttl:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中岛请,有更早過期時間的 Key 優(yōu)先移除旭寿。(不推薦)
5、Redis 和數據庫雙寫一致性問題
一致性問題還可以再分為最終一致性和強一致性崇败。數據庫和緩存雙寫盅称,就必然會存在不一致的問題。前提是如果對數據有強一致性要求后室,不能放緩存缩膝。我們所做的一切,只能保證最終一致性岸霹。
另外疾层,我們所做的方案從根本上來說,只能降低不一致發(fā)生的概率贡避。因此痛黎,有強一致性要求的數據,不能放緩存刮吧。首先湖饱,采取正確更新策略,先更新數據庫杀捻,再刪緩存琉历。其次,因為可能存在刪除緩存失敗的問題水醋,提供一個補償措施即可,例如利用消息隊列彪置。
6拄踪、如何應對緩存穿透和緩存雪崩問題
這兩個問題,一般中小型傳統(tǒng)軟件企業(yè)很難碰到拳魁。如果有大并發(fā)的項目惶桐,流量有幾百萬左右,這兩個問題一定要深刻考慮。緩存穿透姚糊,即黑客故意去請求緩存中不存在的數據贿衍,導致所有的請求都懟到數據庫上,從而數據庫連接異常救恨。
緩存穿透解決方案:
利用互斥鎖贸辈,緩存失效的時候,先去獲得鎖肠槽,得到鎖了擎淤,再去請求數據庫。沒得到鎖秸仙,則休眠一段時間重試嘴拢。
采用異步更新策略,無論 Key 是否取到值寂纪,都直接返回席吴。Value 值中維護一個緩存失效時間,緩存如果過期捞蛋,異步起一個線程去讀數據庫孝冒,更新緩存。需要做緩存預熱(項目啟動前襟交,先加載緩存)操作迈倍。
提供一個能迅速判斷請求是否有效的攔截機制,比如捣域,利用布隆過濾器啼染,內部維護一系列合法有效的 Key。迅速判斷出焕梅,請求所攜帶的 Key 是否合法有效迹鹅。如果不合法,則直接返回贞言。
緩存雪崩斜棚,即緩存同一時間大面積的失效,這個時候又來了一波請求该窗,結果請求都懟到數據庫上弟蚀,從而導致數據庫連接異常。
緩存雪崩解決方案:
給緩存的失效時間酗失,加上一個隨機值义钉,避免集體失效。
使用互斥鎖规肴,但是該方案吞吐量明顯下降了捶闸。
雙緩存夜畴。我們有兩個緩存,緩存 A 和緩存 B删壮。緩存 A 的失效時間為 20 分鐘贪绘,緩存 B 不設失效時間。自己做緩存預熱操作央碟。
然后細分以下幾個小點:從緩存 A 讀數據庫税灌,有則直接返回;A 沒有數據硬耍,直接從 B 讀數據垄琐,直接返回,并且異步啟動一個更新線程经柴,更新線程同時更新緩存 A 和緩存 B狸窘。
7、如何解決 Redis 的并發(fā)競爭 Key 問題
這個問題大致就是坯认,同時有多個子系統(tǒng)去 Set 一個 Key翻擒。這個時候要注意什么呢?大家基本都是推薦用 Redis 事務機制牛哺。
但是我并不推薦使用 Redis 的事務機制陋气。因為我們的生產環(huán)境,基本都是 Redis 集群環(huán)境引润,做了數據分片操作巩趁。你一個事務中有涉及到多個 Key 操作的時候,這多個 Key 不一定都存儲在同一個 redis-server 上淳附。因此议慰,Redis 的事務機制,十分雞肋奴曙。
如果對這個 Key 操作别凹,不要求順序
這種情況下,準備一個分布式鎖洽糟,大家去搶鎖炉菲,搶到鎖就做 set 操作即可,比較簡單坤溃。
如果對這個 Key 操作拍霜,要求順序
假設有一個 key1,系統(tǒng) A 需要將 key1 設置為 valueA薪介,系統(tǒng) B 需要將 key1 設置為 valueB沉御,系統(tǒng) C 需要將 key1 設置為 valueC。
期望按照 key1 的 value 值按照 valueA > valueB > valueC 的順序變化昭灵。這種時候我們在數據寫入數據庫的時候吠裆,需要保存一個時間戳。
假設時間戳如下:
系統(tǒng) A key 1 {valueA 3:00}
系統(tǒng) B key 1 {valueB 3:05}
系統(tǒng) C key 1 {valueC 3:10}
那么烂完,假設系統(tǒng) B 先搶到鎖试疙,將 key1 設置為{valueB 3:05}。接下來系統(tǒng) A 搶到鎖抠蚣,發(fā)現自己的 valueA 的時間戳早于緩存中的時間戳祝旷,那就不做 set 操作了,以此類推嘶窄。其他方法怀跛,比如利用隊列,將 set 方法變成串行訪問也可以柄冲。
8吻谋、總結
Redis 在國內各大公司都能看到其身影,比如我們熟悉的新浪现横,阿里漓拾,騰訊,百度戒祠,美團骇两,小米等。學習 Redis姜盈,這幾方面尤其重要:Redis 客戶端低千、Redis 高級功能、Redis 持久化和開發(fā)運維常用問題探討馏颂、Redis 復制的原理和優(yōu)化策略示血、Redis 分布式解決方案等。
歡迎工作一到五年的Java程序員朋友們加入Java架構交流:810589193
本群提供免費的學習指導 架構資料 以及免費的解答
不懂得問題都可以在本群提出來 之后還會有職業(yè)生涯規(guī)劃以及面試指導