面試官:談關(guān)于緩存穿透+擊穿+雪崩缀旁,熱點數(shù)據(jù)失效問題的解決方案

1.我們使用緩存時的業(yè)務(wù)流程大概為:

當我們查詢一條數(shù)據(jù)時烂完,先去查詢緩存,如果緩存有就直接返回诵棵,如果沒有就去查詢數(shù)據(jù)庫,然后返回祝旷。這種情況下就可能出現(xiàn)下面的一些現(xiàn)象履澳。

2.緩存穿透

2.1什么是緩存穿透

緩存穿透是指查詢一個一定不存在的數(shù)據(jù),由于緩存是不命中時被動寫的怀跛,并且出于容錯考慮距贷,如果從存儲層查不到數(shù)據(jù)則不寫入緩存,這將導(dǎo)致這個不存在的數(shù)據(jù)每次請求都要到存儲層去查詢吻谋,失去了緩存的意義忠蝗。在流量大時,可能DB就掛掉了漓拾,要是有人利用不存在的key頻繁攻擊我們的應(yīng)用阁最,這就是漏洞。

2.2緩存穿透帶來的問題

試想一下骇两,如果有黑客對你的系統(tǒng)進行攻擊速种,拿一個不存在的id去查詢數(shù)據(jù),會產(chǎn)生大量的請求到你的數(shù)據(jù)庫去查詢低千,可能會導(dǎo)致你的數(shù)據(jù)庫由于壓力過大而宕掉配阵。

2.3解決的辦法

2.3.1緩存空值

之所以會發(fā)生穿透,就是因為緩存中沒有儲存這些空數(shù)據(jù)的key。從而導(dǎo)致每次查詢都到數(shù)據(jù)庫去了棋傍。

那么我們就可以為這些key對應(yīng)的值設(shè)置為null丟到緩存里面去救拉。后面出現(xiàn)查詢這個key的請求的時候直接返回null。

這樣就不用再到數(shù)據(jù)庫中去走一圈了瘫拣,但是別忘了設(shè)置過期時間亿絮。

緩存空對象會有兩個問題:

第一,空值做了緩存拂铡,意味著緩存層中存了更多的鍵壹无,需要更多的內(nèi)存空間 ( 如果是攻擊,問題更嚴重 )感帅,比較有效的方法是針對這類數(shù)據(jù)設(shè)置一個較短的過期時間斗锭,讓其自動剔除。

第二失球,緩存層和存儲層的數(shù)據(jù)會有一段時間窗口的不一致岖是,可能會對業(yè)務(wù)有一定影響。例如過期時間設(shè)置為 5分鐘实苞,如果此時存儲層添加了這個數(shù)據(jù)豺撑,那此段時間就會出現(xiàn)緩存層和存儲層數(shù)據(jù)的不一致,此時可以利用消息系統(tǒng)或者其他方式清除掉緩存層中的空對象黔牵。

2.3.2用布隆過濾器BloomFilter

BloomFilter類似于一個hbase set用來判斷某個元素(key)是否存在于某個集合中聪轿。

這種方式在大數(shù)據(jù)場景應(yīng)用比較多,比如Hbase中使用它去判斷數(shù)據(jù)是否在磁盤上猾浦。還有在爬蟲場景判斷url是否已經(jīng)被爬取過陆错。

這種方案可以加在第一種方案中,在緩存之前加一層BloomFilter金赦,在查詢的時候先去BloomFilter去查詢key是否存在音瓷,如果不存在就直接返回,存在再去查緩存-------->差數(shù)據(jù)庫夹抗。

流程圖如下:

2.4如何選擇

針對于一些惡意攻擊绳慎,攻擊帶來大量key是不存在的,那么我們采用第一種方案就會緩存大量不存在的數(shù)據(jù)漠烧。此時我們采用第一種方案就不合適了杏愤,我們完全可以先使用第二種方案過濾掉這些key。

針對這些key異常多沽甥,請求多声邦,重復(fù)率比較低的數(shù)據(jù),我們就沒有必要進行緩存摆舟,使用第二種方案直接過濾掉亥曹。

而對于空數(shù)據(jù)的key有限的邓了,重復(fù)率比較高的,我們則可以采用第一種方式進行緩存媳瞪。

3.緩存擊穿

3.1什么是緩存擊穿

緩存擊穿是我們使用緩存可能遇到的第二個問題骗炉。

在平時高并發(fā)的系統(tǒng)中,大量的請求同時查詢一個key時蛇受,此時這個key正好失效了句葵,就會導(dǎo)致大量的請求都打到數(shù)據(jù)庫上面去,這種現(xiàn)象我們稱為緩存擊穿兢仰。

3.2會帶來什么問題

會造成某一時刻數(shù)據(jù)請求量過大乍丈,壓力劇增。

3.3如何解決

上面現(xiàn)象是多個線程同時去查詢數(shù)據(jù)庫的這一條數(shù)據(jù)把将,那么我們可以在第一個查詢數(shù)據(jù)的請求上使用一個互斥鎖來鎖住它轻专。(如果是單機,可以用synchronized或者lock來處理察蹲,如果是分布式環(huán)境可以用分布式鎖就可以了(分布式鎖请垛,可以用memcache的add, redis的setnx, zookeeper的添加節(jié)點操作))

其他線程走到這一步拿不到鎖就等著,等待第一個線程查詢到了數(shù)據(jù)洽议,然后做緩存宗收。后面的線程進來發(fā)現(xiàn)已經(jīng)有了緩存,就直接走緩存亚兄。

4.緩存雪崩

4.1什么是緩存雪崩

緩存雪崩的情況是指:當某一時刻發(fā)生大規(guī)模的緩存失效的情況混稽,比如你的緩存服務(wù)宕機了,會有大量的請求進來直接打到數(shù)據(jù)庫上面审胚,結(jié)果就是數(shù)據(jù)庫掛掉荚坞。

4.2解決辦法

4.2.1雪崩前:使用集群緩存,保證緩存服務(wù)的高可用

這種方案就是在發(fā)生雪崩前對緩存集群菲盾,實現(xiàn)高可用,如果是使用Redis各淀,可以使用(主從 + 哨兵)懒鉴,Redis Cluster來避免Redis全盤崩潰的情況。

4.2.2雪崩中:ehcache本地緩存 + Hystrix限流 & 降級碎浇,避免MySQl被打死

使用ehcache本地緩存的目的也是考慮Redis Cluster完全不可用的時候临谱,ehcache本地緩存還能夠支撐一陣。

使用Hystrix進行限流 & 降級奴璃,比如一秒來了5000個請求悉默,我們可以設(shè)置假設(shè)一秒只能有2000個請求可以通過這個組件,那么其他剩余的3000請求就會走限流邏輯苟穆。

然后去調(diào)用我們自己開發(fā)的降級組件(降級),比如設(shè)置的一些默認值等等之類的抄课。以此來保護最后的MySQl不會被大量的請求打死唱星。

4.2.3雪崩后:開啟Redis持久化,盡快恢復(fù)緩存集群跟磨。

5.解決熱點數(shù)據(jù)集中失效問題

我們在設(shè)置緩存的時候间聊,一般會給緩存設(shè)置一個失效的時間,過了這個時間抵拘,緩存就失效了哎榴。

對于一些熱點數(shù)據(jù)來說,當緩存失效后會存在大量的請求到數(shù)據(jù)庫上來僵蛛,從而可能導(dǎo)致數(shù)據(jù)庫崩潰的情況尚蝌。

5.1解決辦法

5.1.1設(shè)置不同的失效時間

為了避免這些熱點數(shù)據(jù)集體失效,那么我們在設(shè)置緩存過期時間的時侯充尉,讓他們失效的時間錯開飘言。比如我們可以在原有的失效時間基礎(chǔ)上增加一個隨機值。

5.1.2互斥鎖

結(jié)合上面的擊穿情況喉酌,在第一個請求去查詢數(shù)據(jù)庫的時候?qū)λ右粋€互斥鎖热凹,其余的查詢請求都會被阻塞住,直到鎖被釋放泪电,從而保護數(shù)據(jù)庫般妙。

但是也是由于它會阻塞其他線程,此時系統(tǒng)的吞吐量會下降相速。需要結(jié)合實際業(yè)務(wù)去考慮碟渺。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市突诬,隨后出現(xiàn)的幾起案子苫拍,更是在濱河造成了極大的恐慌,老刑警劉巖旺隙,帶你破解...
    沈念sama閱讀 210,914評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件绒极,死亡現(xiàn)場離奇詭異,居然都是意外死亡蔬捷,警方通過查閱死者的電腦和手機垄提,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,935評論 2 383
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來周拐,“玉大人铡俐,你說我怎么就攤上這事⊥姿冢” “怎么了审丘?”我有些...
    開封第一講書人閱讀 156,531評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長勾给。 經(jīng)常有香客問我滩报,道長锅知,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,309評論 1 282
  • 正文 為了忘掉前任露泊,我火速辦了婚禮喉镰,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘惭笑。我一直安慰自己侣姆,他們只是感情好,可當我...
    茶點故事閱讀 65,381評論 5 384
  • 文/花漫 我一把揭開白布沉噩。 她就那樣靜靜地躺著贱除,像睡著了一般屹蚊。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,730評論 1 289
  • 那天侦镇,我揣著相機與錄音郎嫁,去河邊找鬼乘陪。 笑死泛鸟,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的康聂。 我是一名探鬼主播贰健,決...
    沈念sama閱讀 38,882評論 3 404
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼恬汁!你這毒婦竟也來了伶椿?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,643評論 0 266
  • 序言:老撾萬榮一對情侶失蹤氓侧,失蹤者是張志新(化名)和其女友劉穎脊另,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體约巷,經(jīng)...
    沈念sama閱讀 44,095評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡偎痛,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,448評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了独郎。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片看彼。...
    茶點故事閱讀 38,566評論 1 339
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖囚聚,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情标锄,我是刑警寧澤顽铸,帶...
    沈念sama閱讀 34,253評論 4 328
  • 正文 年R本政府宣布,位于F島的核電站料皇,受9級特大地震影響谓松,放射性物質(zhì)發(fā)生泄漏星压。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,829評論 3 312
  • 文/蒙蒙 一鬼譬、第九天 我趴在偏房一處隱蔽的房頂上張望娜膘。 院中可真熱鬧,春花似錦优质、人聲如沸竣贪。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,715評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽演怎。三九已至,卻和暖如春避乏,著一層夾襖步出監(jiān)牢的瞬間爷耀,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,945評論 1 264
  • 我被黑心中介騙來泰國打工拍皮, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留歹叮,地道東北人。 一個月前我還...
    沈念sama閱讀 46,248評論 2 360
  • 正文 我出身青樓铆帽,卻偏偏與公主長得像咆耿,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子锄贼,可洞房花燭夜當晚...
    茶點故事閱讀 43,440評論 2 348