理解與解決緩存穿透入偷、緩存擊穿、緩存雪崩械哟、熱點數(shù)據(jù)失效問題

一、前言

在我們的平常的項目中多多少少都會使用到緩存殿雪,因為一些數(shù)據(jù)我們沒有必要每次查詢的時候都去查詢到數(shù)據(jù)庫暇咆。

特別是高 QPS 的系統(tǒng),每次都去查詢數(shù)據(jù)庫丙曙,對于你的數(shù)據(jù)庫來說將是災難爸业。

今天我們不牽涉多級緩存的知識,就把系統(tǒng)使用到的緩存方案亏镰,不管是一級還是多級的都統(tǒng)稱為緩存扯旷,主要是為了講述使用緩存的時候可能會遇到的一些問題以及一些解決辦法。

我們使用緩存時索抓,我們的業(yè)務系統(tǒng)大概的調(diào)用流程如下圖:

使用緩存的業(yè)務系統(tǒng)調(diào)用流程

當我們查詢一條數(shù)據(jù)時钧忽,先去查詢緩存,如果緩存有就直接返回逼肯,如果沒有就去查詢數(shù)據(jù)庫耸黑,然后返回。這種情況下就可能會出現(xiàn)一些現(xiàn)象篮幢。

二大刊、緩存穿透

1、什么是緩存穿透

正常情況下三椿,我們?nèi)ゲ樵償?shù)據(jù)都是存在缺菌。那么請求去查詢一條壓根兒數(shù)據(jù)庫中根本就不存在的數(shù)據(jù),也就是緩存和數(shù)據(jù)庫都查詢不到這條數(shù)據(jù)搜锰,但是請求每次都會打到數(shù)據(jù)庫上面去伴郁。這種查詢不存在數(shù)據(jù)的現(xiàn)象我們稱為緩存穿透

2纽乱、穿透帶來的問題

試想一下蛾绎,如果有黑客會對你的系統(tǒng)進行攻擊,拿一個不存在的id去查詢數(shù)據(jù),會產(chǎn)生大量的請求到數(shù)據(jù)庫去查詢租冠∨籼龋可能會導致你的數(shù)據(jù)庫由于壓力過大而宕掉。

3顽爹、解決辦法

1)纤泵、 緩存空值

之所以會發(fā)生穿透,就是因為緩存中沒有存儲這些空數(shù)據(jù)的key镜粤。從而導致每次查詢都到數(shù)據(jù)庫去了捏题。那么我們就可以為這些key對應的值設置為null丟到緩存里面去。后面再出現(xiàn)查詢這個key的請求的時候肉渴,直接返回null公荧。這樣就不用在到數(shù)據(jù)庫中去走一圈了,但是別忘了設置過期時間同规。

2)循狰、BloomFilter

BloomFilter 類似于一個hbase set 用來判斷某個元素(key)是否存在于某個集合中。

這種方式在大數(shù)據(jù)場景應用比較多券勺,比如 Hbase 中使用它去判斷數(shù)據(jù)是否在磁盤上绪钥。還有在爬蟲場景判斷url 是否已經(jīng)被爬取過。

這種方案可以加在第一種方案中关炼,在緩存之前在加一層 BloomFilter 程腹,在查詢的時候先去 BloomFilter 去查詢 key 是否存在,如果不存在就直接返回儒拂,存在再走查緩存 -> 查 DB寸潦。

流程圖如下:


BloomFilter的流程圖

4、如何選擇

針對于一些惡意攻擊社痛,攻擊帶過來的大量key是不存在的甸祭,那么我們采用第一種方案就會緩存大量不存在key的數(shù)據(jù)。此時我們采用第一種方案就不合適了褥影,我們完全可以先對使用第二種方案進行過濾掉這些key池户。針對這種key異常多、請求重復率比較低的數(shù)據(jù)凡怎,我們就沒有必要進行緩存校焦,使用第二種方案直接過濾掉。而對于空數(shù)據(jù)的key有限的统倒,重復率比較高的寨典,我們則可以采用第一種方式進行緩存。

三房匆、緩存擊穿

1耸成、什么是擊穿

緩存擊穿是我們可能遇到的第二個使用緩存方案可能遇到的問題报亩。在平常高并發(fā)的系統(tǒng)中,大量的請求同時查詢一個key時井氢,此時這個key正好失效了弦追,就會導致大量的請求都打到數(shù)據(jù)庫上面去。這種現(xiàn)象我們稱為緩存擊穿花竞。

2劲件、會帶來什么問題

會造成某一時刻數(shù)據(jù)庫請求量過大,壓力劇增约急。

3零远、如何解決

上面的現(xiàn)象是多個線程同時去查詢數(shù)據(jù)庫的這條數(shù)據(jù),那么我們可以在第一個查詢數(shù)據(jù)的請求上使用一個互斥鎖來鎖住它厌蔽。其他的線程走到這一步拿不到鎖就等著牵辣,等第一個線程查詢到了數(shù)據(jù),然后做緩存奴饮。后面的線程進來發(fā)現(xiàn)已經(jīng)有緩存了服猪,就直接走緩存。

四拐云、緩存雪崩

1、什么是緩存雪崩

緩存雪崩的情況是說近她,當某一時刻發(fā)生大規(guī)模的緩存失效的情況叉瘩,比如你的緩存服務宕機了,會有大量的請求進來直接打到DB上面粘捎。結(jié)果就是DB撐不住薇缅,掛掉。

2攒磨、解決辦法

1)泳桦、事前:

使用集群緩存,保證緩存服務的高可用這種方案就是在發(fā)生雪崩前對緩存集群實現(xiàn)高可用娩缰,如果是使用 Redis灸撰,可以使用 主從+哨兵 ,Redis Cluster 來避免 Redis 全盤崩潰的情況拼坎。

2浮毯、事中:

ehcache本地緩存 + Hystrix限流&降級,避免MySQL被打死使用 ehcache 本地緩存的目的也是考慮在 Redis Cluster 完全不可用的時候,ehcache 本地緩存還能夠支撐一陣泰鸡。使用 Hystrix進行限流 & 降級 债蓝,比如一秒來了5000個請求,我們可以設置假設只能有一秒2000個請求能通過這個組件盛龄,那么其他剩余的3000請求就會走限流邏輯饰迹。然后去調(diào)用我們自己開發(fā)的降級組件(降級)芳誓,比如設置的一些默認值呀之類的。以此來保護最后的MySQL不會被大量的請求給打死啊鸭。

3)锹淌、事后:

開啟Redis持久化機制,盡快恢復緩存集群一旦重啟莉掂,就能從磁盤上自動加載數(shù)據(jù)恢復內(nèi)存中的數(shù)據(jù)葛圃。防止雪崩方案如下圖所示:

防止雪崩方案

五、解決熱點數(shù)據(jù)集中失效問題

我們在設置緩存的時候憎妙,一般會給緩存設置一個失效時間库正,過了這個時間,緩存就失效了厘唾。對于一些熱點的數(shù)據(jù)來說褥符,當緩存失效以后會存在大量的請求過來,然后打到數(shù)據(jù)庫去抚垃,從而可能導致數(shù)據(jù)庫崩潰的情況喷楣。

解決辦法如下:

1、設置不同的失效時間

為了避免這些熱點的數(shù)據(jù)集中失效鹤树,那么我們在設置緩存過期時間的時候铣焊,我們讓他們失效的時間錯開。比如在一個基礎的時間上加上或者減去一個范圍內(nèi)的隨機值罕伯。

2曲伊、互斥鎖

結(jié)合上面的擊穿的情況,在第一個請求去查詢數(shù)據(jù)庫的時候?qū)λ右粋€互斥鎖追他,其余的查詢請求都會被阻塞住坟募,直到鎖被釋放,從而保護數(shù)據(jù)庫。但是也是由于它會阻塞其他的線程,此時系統(tǒng)吞吐量會下降煤篙。需要結(jié)合實際的業(yè)務去考慮是否要這么做袋马。

閱讀原文

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖蜂奸,帶你破解...
    沈念sama閱讀 211,290評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異硬萍,居然都是意外死亡扩所,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評論 2 385
  • 文/潘曉璐 我一進店門朴乖,熙熙樓的掌柜王于貴愁眉苦臉地迎上來祖屏,“玉大人助赞,你說我怎么就攤上這事≡祝” “怎么了雹食?”我有些...
    開封第一講書人閱讀 156,872評論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長期丰。 經(jīng)常有香客問我群叶,道長,這世上最難降的妖魔是什么钝荡? 我笑而不...
    開封第一講書人閱讀 56,415評論 1 283
  • 正文 為了忘掉前任街立,我火速辦了婚禮,結(jié)果婚禮上埠通,老公的妹妹穿的比我還像新娘赎离。我一直安慰自己,他們只是感情好端辱,可當我...
    茶點故事閱讀 65,453評論 6 385
  • 文/花漫 我一把揭開白布梁剔。 她就那樣靜靜地躺著,像睡著了一般舞蔽。 火紅的嫁衣襯著肌膚如雪荣病。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,784評論 1 290
  • 那天渗柿,我揣著相機與錄音个盆,去河邊找鬼。 笑死做祝,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的鸡岗。 我是一名探鬼主播混槐,決...
    沈念sama閱讀 38,927評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼轩性!你這毒婦竟也來了声登?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,691評論 0 266
  • 序言:老撾萬榮一對情侶失蹤揣苏,失蹤者是張志新(化名)和其女友劉穎悯嗓,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體卸察,經(jīng)...
    沈念sama閱讀 44,137評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡脯厨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,472評論 2 326
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了坑质。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片合武。...
    茶點故事閱讀 38,622評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡临梗,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出稼跳,到底是詐尸還是另有隱情盟庞,我是刑警寧澤,帶...
    沈念sama閱讀 34,289評論 4 329
  • 正文 年R本政府宣布汤善,位于F島的核電站什猖,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏红淡。R本人自食惡果不足惜不狮,卻給世界環(huán)境...
    茶點故事閱讀 39,887評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望锉屈。 院中可真熱鬧荤傲,春花似錦、人聲如沸颈渊。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽俊嗽。三九已至雾家,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間绍豁,已是汗流浹背芯咧。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留竹揍,地道東北人敬飒。 一個月前我還...
    沈念sama閱讀 46,316評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像芬位,于是被迫代替她去往敵國和親无拗。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,490評論 2 348