緩存穿透考传、緩存并發(fā)吃型、緩存失效、緩存預(yù)熱僚楞、緩存雪崩勤晚、緩存算法

一、緩存穿透

我們?cè)陧?xiàng)目中使用緩存通常都是先檢查緩存中是否存在泉褐,如果存在直接返回緩存內(nèi)容赐写,如果不存在就直接查詢數(shù)據(jù)庫然后再緩存查詢結(jié)果返回。這個(gè)時(shí)候如果我們查詢的某一個(gè)數(shù)據(jù)在緩存中一直不存在膜赃,就會(huì)造成每一次請(qǐng)求都查詢DB挺邀,這樣緩存就失去了意義,在流量大時(shí)跳座,可能DB就掛掉了端铛。

那這種問題有什么好辦法解決呢?

要是有人利用不存在的key頻繁攻擊我們的應(yīng)用疲眷,這就是漏洞禾蚕。
有一個(gè)比較巧妙的作法是,可以將這個(gè)不存在的key預(yù)先設(shè)定一個(gè)值狂丝。
比如换淆,”key” , “&&”哗总。
在返回這個(gè)&&值的時(shí)候,我們的應(yīng)用就可以認(rèn)為這是不存在的key产舞,那我們的應(yīng)用就可以決定是否繼續(xù)等待繼續(xù)訪問魂奥,還是放棄掉這次操作。如果繼續(xù)等待訪問易猫,過一個(gè)時(shí)間輪詢點(diǎn)后耻煤,再次請(qǐng)求這個(gè)key,如果取到的值不再是&&准颓,則可以認(rèn)為這時(shí)候key有值了哈蝇,從而避免了透?jìng)鞯綌?shù)據(jù)庫,從而把大量的類似請(qǐng)求擋在了緩存之中攘已。

二炮赦、緩存并發(fā)

有時(shí)候如果網(wǎng)站并發(fā)訪問高,一個(gè)緩存如果失效样勃,可能出現(xiàn)多個(gè)進(jìn)程同時(shí)查詢DB吠勘,同時(shí)設(shè)置緩存的情況,如果并發(fā)確實(shí)很大峡眶,這也可能造成DB壓力過大剧防,還有緩存頻繁更新的問題。

我現(xiàn)在的想法是對(duì)緩存查詢加鎖辫樱,如果KEY不存在峭拘,就加鎖,然后查DB入緩存狮暑,然后解鎖鸡挠;其他進(jìn)程如果發(fā)現(xiàn)有鎖就等待,然后等解鎖后返回?cái)?shù)據(jù)或者進(jìn)入DB查詢搬男。

這種情況和剛才說的預(yù)先設(shè)定值問題有些類似拣展,只不過利用鎖的方式,會(huì)造成部分請(qǐng)求等待止后。

三瞎惫、緩存失效

引起這個(gè)問題的主要原因還是高并發(fā)的時(shí)候,平時(shí)我們?cè)O(shè)定一個(gè)緩存的過期時(shí)間時(shí)译株,可能有一些會(huì)設(shè)置1分鐘啊瓜喇,5分鐘這些,并發(fā)很高時(shí)可能會(huì)出在某一個(gè)時(shí)間同時(shí)生成了很多的緩存歉糜,并且過期時(shí)間都一樣乘寒,這個(gè)時(shí)候就可能引發(fā)一當(dāng)過期時(shí)間到后,這些緩存同時(shí)失效匪补,請(qǐng)求全部轉(zhuǎn)發(fā)到DB伞辛,DB可能會(huì)壓力過重烂翰。

那如何解決這些問題呢?
其中的一個(gè)簡(jiǎn)單方案就時(shí)講緩存失效時(shí)間分散開蚤氏,比如我們可以在原有的失效時(shí)間基礎(chǔ)上增加一個(gè)隨機(jī)值甘耿,比如1-5分鐘隨機(jī),這樣每一個(gè)緩存的過期時(shí)間的重復(fù)率就會(huì)降低竿滨,就很難引發(fā)集體失效的事件佳恬。

四、緩存雪崩

緩存雪崩可能是因?yàn)閿?shù)據(jù)未加載到緩存中于游,或者緩存同一時(shí)間大面積的失效毁葱,從而導(dǎo)致所有請(qǐng)求都去查數(shù)據(jù)庫,導(dǎo)致數(shù)據(jù)庫CPU和內(nèi)存負(fù)載過高贰剥,甚至宕機(jī)倾剿。

解決思路:

1,采用加鎖計(jì)數(shù)蚌成,或者使用合理的隊(duì)列數(shù)量來避免緩存失效時(shí)對(duì)數(shù)據(jù)庫造成太大的壓力前痘。這種辦法雖然能緩解數(shù)據(jù)庫的壓力,但是同時(shí)又降低了系統(tǒng)的吞吐量担忧。

2际度,分析用戶行為,盡量讓失效時(shí)間點(diǎn)均勻分布涵妥。避免緩存雪崩的出現(xiàn)。

3坡锡,如果是因?yàn)槟撑_(tái)緩存服務(wù)器宕機(jī)蓬网,可以考慮做主備,比如:redis主備鹉勒,但是雙緩存涉及到更新事務(wù)的問題帆锋,update可能讀到臟數(shù)據(jù),需要好好解決禽额。

五锯厢、緩存預(yù)熱

單機(jī)web系統(tǒng)情況下比較簡(jiǎn)單。

解決思路:

1脯倒,直接寫個(gè)緩存刷新頁面实辑,上線時(shí)手工操作下。

2藻丢,數(shù)據(jù)量不大剪撬,可以在WEB系統(tǒng)啟動(dòng)的時(shí)候加載。

3悠反,搞個(gè)定時(shí)器定時(shí)刷新緩存残黑,或者由用戶觸發(fā)都行馍佑。

分布式緩存系統(tǒng),如Memcached梨水,Redis拭荤,比如緩存系統(tǒng)比較大,由十幾臺(tái)甚至幾十臺(tái)機(jī)器組成疫诽,這樣預(yù)熱會(huì)復(fù)雜一些舅世。

解決思路:

1,寫個(gè)程序去跑踊沸。

2歇终,單個(gè)緩存預(yù)熱框架。

緩存預(yù)熱的目標(biāo)就是在系統(tǒng)上線前逼龟,將數(shù)據(jù)加載到緩存中评凝。

六、緩存算法

FIFO算法:First in First out腺律,先進(jìn)先出奕短。原則:一個(gè)數(shù)據(jù)最先進(jìn)入緩存中,則應(yīng)該最早淘汰掉匀钧。也就是說翎碑,當(dāng)緩存滿的時(shí)候,應(yīng)當(dāng)把最先進(jìn)入緩存的數(shù)據(jù)給淘汰掉之斯。
LFU算法:Least Frequently Used日杈,最不經(jīng)常使用算法。
LRU算法:Least Recently Used佑刷,近期最少使用算法莉擒。請(qǐng)查看:Memcached之你真正理解LRU嗎(4)

LRU和LFU的區(qū)別。LFU算法是根據(jù)在一段時(shí)間里數(shù)據(jù)項(xiàng)被使用的次數(shù)選擇出最少使用的數(shù)據(jù)項(xiàng)瘫絮,即根據(jù)使用次數(shù)的差異來決定涨冀。而LRU是根據(jù)使用時(shí)間的差異來決定的。

總結(jié):

  • 緩存盡量做到低冗余麦萤,數(shù)據(jù)性質(zhì)較為單一鹿鳖。
    • 例如,在取訂單數(shù)據(jù)時(shí)壮莹,用戶部分的信息從用戶緩存中獲取翅帜,而不是一起緩存。
  • 在修改數(shù)據(jù)時(shí) 替換緩存而不是刪除緩存
    • 當(dāng)然如果數(shù)據(jù)都是冗余在一起的話命满,就會(huì)造成數(shù)據(jù)一致性的問題藕甩。

參考:

原文地址:
https://my.oschina.net/huangcongmin12/blog/692783

緩存穿透、緩存并發(fā)、緩存失效之思路變遷
http://www.reibang.com/p/d96906140199

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末狭莱,一起剝皮案震驚了整個(gè)濱河市僵娃,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌腋妙,老刑警劉巖默怨,帶你破解...
    沈念sama閱讀 206,378評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異骤素,居然都是意外死亡匙睹,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,356評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門济竹,熙熙樓的掌柜王于貴愁眉苦臉地迎上來痕檬,“玉大人,你說我怎么就攤上這事送浊∶蚊眨” “怎么了?”我有些...
    開封第一講書人閱讀 152,702評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵袭景,是天一觀的道長(zhǎng)唁桩。 經(jīng)常有香客問我,道長(zhǎng)耸棒,這世上最難降的妖魔是什么荒澡? 我笑而不...
    開封第一講書人閱讀 55,259評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮与殃,結(jié)果婚禮上单山,老公的妹妹穿的比我還像新娘。我一直安慰自己幅疼,他們只是感情好饥侵,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,263評(píng)論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著衣屏,像睡著了一般。 火紅的嫁衣襯著肌膚如雪辩棒。 梳的紋絲不亂的頭發(fā)上狼忱,一...
    開封第一講書人閱讀 49,036評(píng)論 1 285
  • 那天,我揣著相機(jī)與錄音一睁,去河邊找鬼钻弄。 笑死,一個(gè)胖子當(dāng)著我的面吹牛者吁,可吹牛的內(nèi)容都是我干的窘俺。 我是一名探鬼主播,決...
    沈念sama閱讀 38,349評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼复凳,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼瘤泪!你這毒婦竟也來了灶泵?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,979評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤对途,失蹤者是張志新(化名)和其女友劉穎赦邻,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體实檀,經(jīng)...
    沈念sama閱讀 43,469評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡惶洲,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,938評(píng)論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了膳犹。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片恬吕。...
    茶點(diǎn)故事閱讀 38,059評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖须床,靈堂內(nèi)的尸體忽然破棺而出铐料,到底是詐尸還是另有隱情,我是刑警寧澤侨颈,帶...
    沈念sama閱讀 33,703評(píng)論 4 323
  • 正文 年R本政府宣布余赢,位于F島的核電站,受9級(jí)特大地震影響哈垢,放射性物質(zhì)發(fā)生泄漏妻柒。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,257評(píng)論 3 307
  • 文/蒙蒙 一耘分、第九天 我趴在偏房一處隱蔽的房頂上張望举塔。 院中可真熱鬧,春花似錦求泰、人聲如沸央渣。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,262評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽芽丹。三九已至,卻和暖如春卜朗,著一層夾襖步出監(jiān)牢的瞬間拔第,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評(píng)論 1 262
  • 我被黑心中介騙來泰國打工场钉, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蚊俺,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,501評(píng)論 2 354
  • 正文 我出身青樓逛万,卻偏偏與公主長(zhǎng)得像泳猬,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,792評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容