為什么我們做分布式使用Redis滞时?

image

絕大部分寫業(yè)務的程序員坪稽,在實際開發(fā)中使用 Redis 的時候力喷,只會 Set Value 和 Get Value 兩個操作弟孟,對 Redis 整體缺乏一個認知样悟。這里對 Redis 常見問題做一個總結窟她,解決大家的知識盲點。

1录肯、為什么使用 Redis

在項目中使用 Redis吊说,主要考慮兩個角度:性能和并發(fā)颁井。如果只是為了分布式鎖這些其他功能,還有其他中間件 Zookpeer 等代替养涮,并非一定要使用 Redis贯吓。

性能:

如下圖所示蜀变,我們在碰到需要執(zhí)行耗時特別久,且結果不頻繁變動的 SQL尊沸,就特別適合將運行結果放入緩存洼专。這樣,后面的請求就去緩存中讀取烟很,使得請求能夠迅速響應雾袱。

特別是在秒殺系統(tǒng)官还,在同一時間望伦,幾乎所有人都在點,都在下單…..執(zhí)行的是同一操作———向數據庫查數據腿箩。

image

根據交互效果的不同珠移,響應時間沒有固定標準钧惧。在理想狀態(tài)下滑潘,我們的頁面跳轉需要在瞬間解決语卤,對于頁內操作則需要在剎那間解決。

并發(fā):

如下圖所示钮孵,在大并發(fā)的情況下眼滤,所有的請求直接訪問數據庫诅需,數據庫會出現連接異常。這個時候赵刑,就需要使用 Redis 做一個緩沖操作般此,讓請求先訪問到 Redis,而不是直接訪問數據庫邀桑。

image

使用 Redis 的常見問題

  • 緩存和數據庫雙寫一致性問題

  • 緩存雪崩問題

  • 緩存擊穿問題

  • 緩存的并發(fā)競爭問題

2壁畸、單線程的 Redis 為什么這么快

這個問題是對 Redis 內部機制的一個考察瓤摧。很多人都不知道 Redis 是單線程工作模型玉吁。

原因主要是以下三點:

  • 純內存操作

  • 單線程操作进副,避免了頻繁的上下文切換

  • 采用了非阻塞 I/O 多路復用機制

仔細說一說 I/O 多路復用機制影斑,打一個比方:小名在 A 城開了一家快餐店店机打,負責同城快餐服務残邀。小明因為資金限制,雇傭了一批配送員芥挣,然后小曲發(fā)現資金不夠了驱闷,只夠買一輛車送快遞。

經營方式一

客戶每下一份訂單空免,小明就讓一個配送員盯著空另,然后讓人開車去送。慢慢的小曲就發(fā)現了這種經營方式存在下述問題:

  • 時間都花在了搶車上了蹋砚,大部分配送員都處在閑置狀態(tài)扼菠,搶到車才能去送摄杂。

  • 隨著下單的增多,配送員也越來越多循榆,小明發(fā)現快遞店里越來越擠,沒辦法雇傭新的配送員了冯痢。

  • 配送員之間的協(xié)調很花時間氮昧。

綜合上述缺點,小明痛定思痛浦楣,提出了經營方式二袖肥。

經營方式二

小明只雇傭一個配送員。當客戶下單振劳,小明按送達地點標注好椎组,依次放在一個地方。最后历恐,讓配送員依次開著車去送寸癌,送好了就回來拿下一個。上述兩種經營方式對比弱贼,很明顯第二種效率更高蒸苇。

在上述比喻中:

  • 每個配送員→每個線程

  • 每個訂單→每個 Socket(I/O 流)

  • 訂單的送達地點→Socket 的不同狀態(tài)

  • 客戶送餐請求→來自客戶端的請求

  • 明曲的經營方式→服務端運行的代碼

  • 一輛車→CPU 的核數

于是有了如下結論:

  • 經營方式一就是傳統(tǒng)的并發(fā)模型,每個 I/O 流(訂單)都有一個新的線程(配送員)管理吮旅。

  • 經營方式二就是 I/O 多路復用溪烤。只有單個線程(一個配送員),通過跟蹤每個 I/O 流的狀態(tài)(每個配送員的送達地點)庇勃,來管理多個 I/O 流檬嘀。

下面類比到真實的 Redis 線程模型,如圖所示:

image

Redis-client 在操作的時候责嚷,會產生具有不同事件類型的 Socket鸳兽。在服務端,有一段 I/O 多路復用程序罕拂,將其置入隊列之中揍异。然后,文件事件分派器聂受,依次去隊列中取蒿秦,轉發(fā)到不同的事件處理器中。

3蛋济、Redis 的數據類型及使用場景

一個合格的程序員棍鳖,這五種類型都會用到。

String

最常規(guī)的 set/get 操作,Value 可以是 String 也可以是數字渡处。一般做一些復雜的計數功能的緩存镜悉。

Hash

這里 Value 存放的是結構化的對象,比較方便的就是操作其中的某個字段医瘫。我在做單點登錄的時候侣肄,就是用這種數據結構存儲用戶信息,以 CookieId 作為 Key醇份,設置 30 分鐘為緩存過期時間稼锅,能很好的模擬出類似 Session 的效果。

List

使用 List 的數據結構僚纷,可以做簡單的消息隊列的功能矩距。另外,可以利用 lrange 命令怖竭,做基于 Redis 的分頁功能锥债,性能極佳,用戶體驗好痊臭。

Set

因為 Set 堆放的是一堆不重復值的集合哮肚。所以可以做全局去重的功能。我們的系統(tǒng)一般都是集群部署广匙,使用 JVM 自帶的 Set 比較麻煩允趟。另外,就是利用交集鸦致、并集拼窥、差集等操作,可以計算共同喜好蹋凝,全部的喜好谐岁,自己獨有的喜好等功能感凤。

Sorted Set

Sorted Set 多了一個權重參數 Score,集合中的元素能夠按 Score 進行排列闻葵∏榱洌可以做排行榜應用迄汛,取 TOP N 操作。Sorted Set 可以用來做延時任務骤视。

4鞍爱、Redis 的過期策略和內存淘汰機制

Redis 是否用到家,從這就能看出來专酗。比如你 Redis 只能存 5G 數據睹逃,可是你寫了 10G,那會刪 5G 的數據。怎么刪的沉填,這個問題思考過么疗隶?

正解:Redis 采用的是定期刪除+惰性刪除策略。

為什么不用定時刪除策略

定時刪除翼闹,用一個定時器來負責監(jiān)視 Key斑鼻,過期則自動刪除。雖然內存及時釋放猎荠,但是十分消耗 CPU 資源坚弱。在大并發(fā)請求下,CPU 要將時間應用在處理請求关摇,而不是刪除 Key荒叶,因此沒有采用這一策略。

定期刪除+惰性刪除如何工作

定期刪除拒垃,Redis 默認每個 100ms 檢查停撞,有過期 Key 則刪除。需要說明的是悼瓮,Redis 不是每個 100ms 將所有的 Key 檢查一次戈毒,而是隨機抽取進行檢查。如果只采用定期刪除策略横堡,會導致很多 Key 到時間沒有刪除埋市。于是,惰性刪除派上用場命贴。

采用定期刪除+惰性刪除就沒其他問題了么

不是的道宅,如果定期刪除沒刪除掉 Key。并且你也沒及時去請求 Key胸蛛,也就是說惰性刪除也沒生效污茵。這樣,Redis 的內存會越來越高葬项。那么就應該采用內存淘汰機制泞当。

在 redis.conf 中有一行配置:

# maxmemory-policy volatile-lru

該配置就是配內存淘汰策略的:

  • noeviction:當內存不足以容納新寫入數據時,新寫入操作會報錯民珍。

  • allkeys-lru:當內存不足以容納新寫入數據時襟士,在鍵空間中,移除最近最少使用的 Key嚷量。(推薦使用陋桂,目前項目在用這種)(最近最久使用算法)

  • allkeys-random:當內存不足以容納新寫入數據時,在鍵空間中蝶溶,隨機移除某個 Key嗜历。(應該也沒人用吧,你不刪最少使用 Key,去隨機刪)

  • volatile-lru:當內存不足以容納新寫入數據時秸脱,在設置了過期時間的鍵空間中落包,移除最近最少使用的 Key。這種情況一般是把 Redis 既當緩存摊唇,又做持久化存儲的時候才用咐蝇。(不推薦)

  • volatile-random:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中巷查,隨機移除某個 Key有序。(依然不推薦)

  • volatile-ttl:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中岛请,有更早過期時間的 Key 優(yōu)先移除旭寿。(不推薦)

5、Redis 和數據庫雙寫一致性問題

一致性問題還可以再分為最終一致性和強一致性崇败。數據庫和緩存雙寫盅称,就必然會存在不一致的問題。前提是如果對數據有強一致性要求后室,不能放緩存缩膝。我們所做的一切,只能保證最終一致性岸霹。

另外疾层,我們所做的方案從根本上來說,只能降低不一致發(fā)生的概率贡避。因此痛黎,有強一致性要求的數據,不能放緩存刮吧。首先湖饱,采取正確更新策略,先更新數據庫杀捻,再刪緩存琉历。其次,因為可能存在刪除緩存失敗的問題水醋,提供一個補償措施即可,例如利用消息隊列彪置。

6拄踪、如何應對緩存穿透和緩存雪崩問題

這兩個問題,一般中小型傳統(tǒng)軟件企業(yè)很難碰到拳魁。如果有大并發(fā)的項目惶桐,流量有幾百萬左右,這兩個問題一定要深刻考慮。緩存穿透姚糊,即黑客故意去請求緩存中不存在的數據贿衍,導致所有的請求都懟到數據庫上,從而數據庫連接異常救恨。

緩存穿透解決方案:

  • 利用互斥鎖贸辈,緩存失效的時候,先去獲得鎖肠槽,得到鎖了擎淤,再去請求數據庫。沒得到鎖秸仙,則休眠一段時間重試嘴拢。

  • 采用異步更新策略,無論 Key 是否取到值寂纪,都直接返回席吴。Value 值中維護一個緩存失效時間,緩存如果過期捞蛋,異步起一個線程去讀數據庫孝冒,更新緩存。需要做緩存預熱(項目啟動前襟交,先加載緩存)操作迈倍。

  • 提供一個能迅速判斷請求是否有效的攔截機制,比如捣域,利用布隆過濾器啼染,內部維護一系列合法有效的 Key。迅速判斷出焕梅,請求所攜帶的 Key 是否合法有效迹鹅。如果不合法,則直接返回贞言。

緩存雪崩斜棚,即緩存同一時間大面積的失效,這個時候又來了一波請求该窗,結果請求都懟到數據庫上弟蚀,從而導致數據庫連接異常。

緩存雪崩解決方案:

  • 給緩存的失效時間酗失,加上一個隨機值义钉,避免集體失效。

  • 使用互斥鎖规肴,但是該方案吞吐量明顯下降了捶闸。

  • 雙緩存夜畴。我們有兩個緩存,緩存 A 和緩存 B删壮。緩存 A 的失效時間為 20 分鐘贪绘,緩存 B 不設失效時間。自己做緩存預熱操作央碟。

  • 然后細分以下幾個小點:從緩存 A 讀數據庫税灌,有則直接返回;A 沒有數據硬耍,直接從 B 讀數據垄琐,直接返回,并且異步啟動一個更新線程经柴,更新線程同時更新緩存 A 和緩存 B狸窘。

7、如何解決 Redis 的并發(fā)競爭 Key 問題

這個問題大致就是坯认,同時有多個子系統(tǒng)去 Set 一個 Key翻擒。這個時候要注意什么呢?大家基本都是推薦用 Redis 事務機制牛哺。

但是我并不推薦使用 Redis 的事務機制陋气。因為我們的生產環(huán)境,基本都是 Redis 集群環(huán)境引润,做了數據分片操作巩趁。你一個事務中有涉及到多個 Key 操作的時候,這多個 Key 不一定都存儲在同一個 redis-server 上淳附。因此议慰,Redis 的事務機制,十分雞肋奴曙。

如果對這個 Key 操作别凹,不要求順序

這種情況下,準備一個分布式鎖洽糟,大家去搶鎖炉菲,搶到鎖就做 set 操作即可,比較簡單坤溃。

如果對這個 Key 操作拍霜,要求順序

假設有一個 key1,系統(tǒng) A 需要將 key1 設置為 valueA薪介,系統(tǒng) B 需要將 key1 設置為 valueB沉御,系統(tǒng) C 需要將 key1 設置為 valueC。

期望按照 key1 的 value 值按照 valueA > valueB > valueC 的順序變化昭灵。這種時候我們在數據寫入數據庫的時候吠裆,需要保存一個時間戳。

假設時間戳如下:

  • 系統(tǒng) A key 1 {valueA 3:00}

  • 系統(tǒng) B key 1 {valueB 3:05}

  • 系統(tǒng) C key 1 {valueC 3:10}

那么烂完,假設系統(tǒng) B 先搶到鎖试疙,將 key1 設置為{valueB 3:05}。接下來系統(tǒng) A 搶到鎖抠蚣,發(fā)現自己的 valueA 的時間戳早于緩存中的時間戳祝旷,那就不做 set 操作了,以此類推嘶窄。其他方法怀跛,比如利用隊列,將 set 方法變成串行訪問也可以柄冲。

8吻谋、總結

Redis 在國內各大公司都能看到其身影,比如我們熟悉的新浪现横,阿里漓拾,騰訊,百度戒祠,美團骇两,小米等。學習 Redis姜盈,這幾方面尤其重要:Redis 客戶端低千、Redis 高級功能、Redis 持久化和開發(fā)運維常用問題探討馏颂、Redis 復制的原理和優(yōu)化策略示血、Redis 分布式解決方案等。

歡迎工作一到五年的Java程序員朋友們加入Java架構交流:810589193
本群提供免費的學習指導 架構資料 以及免費的解答
不懂得問題都可以在本群提出來 之后還會有職業(yè)生涯規(guī)劃以及面試指導

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末饱亮,一起剝皮案震驚了整個濱河市矾芙,隨后出現的幾起案子,更是在濱河造成了極大的恐慌近上,老刑警劉巖剔宪,帶你破解...
    沈念sama閱讀 218,755評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異壹无,居然都是意外死亡葱绒,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 93,305評論 3 395
  • 文/潘曉璐 我一進店門斗锭,熙熙樓的掌柜王于貴愁眉苦臉地迎上來地淀,“玉大人,你說我怎么就攤上這事岖是“锘伲” “怎么了实苞?”我有些...
    開封第一講書人閱讀 165,138評論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長烈疚。 經常有香客問我黔牵,道長,這世上最難降的妖魔是什么爷肝? 我笑而不...
    開封第一講書人閱讀 58,791評論 1 295
  • 正文 為了忘掉前任猾浦,我火速辦了婚禮,結果婚禮上灯抛,老公的妹妹穿的比我還像新娘金赦。我一直安慰自己,他們只是感情好对嚼,可當我...
    茶點故事閱讀 67,794評論 6 392
  • 文/花漫 我一把揭開白布夹抗。 她就那樣靜靜地躺著,像睡著了一般猪半。 火紅的嫁衣襯著肌膚如雪兔朦。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,631評論 1 305
  • 那天磨确,我揣著相機與錄音沽甥,去河邊找鬼。 笑死乏奥,一個胖子當著我的面吹牛摆舟,可吹牛的內容都是我干的。 我是一名探鬼主播邓了,決...
    沈念sama閱讀 40,362評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼恨诱,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了骗炉?” 一聲冷哼從身側響起照宝,我...
    開封第一講書人閱讀 39,264評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎句葵,沒想到半個月后厕鹃,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 45,724評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡乍丈,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年剂碴,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片轻专。...
    茶點故事閱讀 40,040評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡忆矛,死狀恐怖,靈堂內的尸體忽然破棺而出请垛,到底是詐尸還是另有隱情催训,我是刑警寧澤洽议,帶...
    沈念sama閱讀 35,742評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站漫拭,受9級特大地震影響绞铃,放射性物質發(fā)生泄漏。R本人自食惡果不足惜嫂侍,卻給世界環(huán)境...
    茶點故事閱讀 41,364評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望荚坞。 院中可真熱鬧挑宠,春花似錦、人聲如沸颓影。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽诡挂。三九已至碎浇,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間璃俗,已是汗流浹背奴璃。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留城豁,地道東北人苟穆。 一個月前我還...
    沈念sama閱讀 48,247評論 3 371
  • 正文 我出身青樓,卻偏偏與公主長得像唱星,于是被迫代替她去往敵國和親雳旅。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,979評論 2 355

推薦閱讀更多精彩內容