一、緩存穿透
我們?cè)陧?xiàng)目中使用緩存通常都是先檢查緩存中是否存在泉褐,如果存在直接返回緩存內(nèi)容赐写,如果不存在就直接查詢數(shù)據(jù)庫然后再緩存查詢結(jié)果返回。這個(gè)時(shí)候如果我們查詢的某一個(gè)數(shù)據(jù)在緩存中一直不存在膜赃,就會(huì)造成每一次請(qǐng)求都查詢DB挺邀,這樣緩存就失去了意義,在流量大時(shí)跳座,可能DB就掛掉了端铛。
那這種問題有什么好辦法解決呢?
要是有人利用不存在的key頻繁攻擊我們的應(yīng)用疲眷,這就是漏洞禾蚕。
有一個(gè)比較巧妙的作法是,可以將這個(gè)不存在的key預(yù)先設(shè)定一個(gè)值狂丝。
比如换淆,”key” , “&&”哗总。
在返回這個(gè)&&值的時(shí)候,我們的應(yīng)用就可以認(rèn)為這是不存在的key产舞,那我們的應(yīng)用就可以決定是否繼續(xù)等待繼續(xù)訪問魂奥,還是放棄掉這次操作。如果繼續(xù)等待訪問易猫,過一個(gè)時(shí)間輪詢點(diǎn)后耻煤,再次請(qǐng)求這個(gè)key,如果取到的值不再是&&准颓,則可以認(rèn)為這時(shí)候key有值了哈蝇,從而避免了透?jìng)鞯綌?shù)據(jù)庫,從而把大量的類似請(qǐng)求擋在了緩存之中攘已。
二炮赦、緩存并發(fā)
有時(shí)候如果網(wǎng)站并發(fā)訪問高,一個(gè)緩存如果失效样勃,可能出現(xiàn)多個(gè)進(jìn)程同時(shí)查詢DB吠勘,同時(shí)設(shè)置緩存的情況,如果并發(fā)確實(shí)很大峡眶,這也可能造成DB壓力過大剧防,還有緩存頻繁更新的問題。
我現(xiàn)在的想法是對(duì)緩存查詢加鎖辫樱,如果KEY不存在峭拘,就加鎖,然后查DB入緩存狮暑,然后解鎖鸡挠;其他進(jìn)程如果發(fā)現(xiàn)有鎖就等待,然后等解鎖后返回?cái)?shù)據(jù)或者進(jìn)入DB查詢搬男。
這種情況和剛才說的預(yù)先設(shè)定值問題有些類似拣展,只不過利用鎖的方式,會(huì)造成部分請(qǐng)求等待止后。
三瞎惫、緩存失效
引起這個(gè)問題的主要原因還是高并發(fā)的時(shí)候,平時(shí)我們?cè)O(shè)定一個(gè)緩存的過期時(shí)間時(shí)译株,可能有一些會(huì)設(shè)置1分鐘啊瓜喇,5分鐘這些,并發(fā)很高時(shí)可能會(huì)出在某一個(gè)時(shí)間同時(shí)生成了很多的緩存歉糜,并且過期時(shí)間都一樣乘寒,這個(gè)時(shí)候就可能引發(fā)一當(dāng)過期時(shí)間到后,這些緩存同時(shí)失效匪补,請(qǐng)求全部轉(zhuǎn)發(fā)到DB伞辛,DB可能會(huì)壓力過重烂翰。
那如何解決這些問題呢?
其中的一個(gè)簡(jiǎn)單方案就時(shí)講緩存失效時(shí)間分散開蚤氏,比如我們可以在原有的失效時(shí)間基礎(chǔ)上增加一個(gè)隨機(jī)值甘耿,比如1-5分鐘隨機(jī),這樣每一個(gè)緩存的過期時(shí)間的重復(fù)率就會(huì)降低竿滨,就很難引發(fā)集體失效的事件佳恬。
四、緩存雪崩
緩存雪崩可能是因?yàn)閿?shù)據(jù)未加載到緩存中于游,或者緩存同一時(shí)間大面積的失效毁葱,從而導(dǎo)致所有請(qǐng)求都去查數(shù)據(jù)庫,導(dǎo)致數(shù)據(jù)庫CPU和內(nèi)存負(fù)載過高贰剥,甚至宕機(jī)倾剿。
解決思路:
1,采用加鎖計(jì)數(shù)蚌成,或者使用合理的隊(duì)列數(shù)量來避免緩存失效時(shí)對(duì)數(shù)據(jù)庫造成太大的壓力前痘。這種辦法雖然能緩解數(shù)據(jù)庫的壓力,但是同時(shí)又降低了系統(tǒng)的吞吐量担忧。
2际度,分析用戶行為,盡量讓失效時(shí)間點(diǎn)均勻分布涵妥。避免緩存雪崩的出現(xiàn)。
3坡锡,如果是因?yàn)槟撑_(tái)緩存服務(wù)器宕機(jī)蓬网,可以考慮做主備,比如:redis主備鹉勒,但是雙緩存涉及到更新事務(wù)的問題帆锋,update可能讀到臟數(shù)據(jù),需要好好解決禽额。
五锯厢、緩存預(yù)熱
單機(jī)web系統(tǒng)情況下比較簡(jiǎn)單。
解決思路:
1脯倒,直接寫個(gè)緩存刷新頁面实辑,上線時(shí)手工操作下。
2藻丢,數(shù)據(jù)量不大剪撬,可以在WEB系統(tǒng)啟動(dòng)的時(shí)候加載。
3悠反,搞個(gè)定時(shí)器定時(shí)刷新緩存残黑,或者由用戶觸發(fā)都行馍佑。
分布式緩存系統(tǒng),如Memcached梨水,Redis拭荤,比如緩存系統(tǒng)比較大,由十幾臺(tái)甚至幾十臺(tái)機(jī)器組成疫诽,這樣預(yù)熱會(huì)復(fù)雜一些舅世。
解決思路:
1,寫個(gè)程序去跑踊沸。
2歇终,單個(gè)緩存預(yù)熱框架。
緩存預(yù)熱的目標(biāo)就是在系統(tǒng)上線前逼龟,將數(shù)據(jù)加載到緩存中评凝。
六、緩存算法
FIFO算法:First in First out腺律,先進(jìn)先出奕短。原則:一個(gè)數(shù)據(jù)最先進(jìn)入緩存中,則應(yīng)該最早淘汰掉匀钧。也就是說翎碑,當(dāng)緩存滿的時(shí)候,應(yīng)當(dāng)把最先進(jìn)入緩存的數(shù)據(jù)給淘汰掉之斯。
LFU算法:Least Frequently Used日杈,最不經(jīng)常使用算法。
LRU算法:Least Recently Used佑刷,近期最少使用算法莉擒。請(qǐng)查看:Memcached之你真正理解LRU嗎(4)
LRU和LFU的區(qū)別。LFU算法是根據(jù)在一段時(shí)間里數(shù)據(jù)項(xiàng)被使用的次數(shù)選擇出最少使用的數(shù)據(jù)項(xiàng)瘫絮,即根據(jù)使用次數(shù)的差異來決定涨冀。而LRU是根據(jù)使用時(shí)間的差異來決定的。
總結(jié):
- 緩存盡量做到低冗余麦萤,數(shù)據(jù)性質(zhì)較為單一鹿鳖。
- 例如,在取訂單數(shù)據(jù)時(shí)壮莹,用戶部分的信息從用戶緩存中獲取翅帜,而不是一起緩存。
- 在修改數(shù)據(jù)時(shí) 替換緩存而不是刪除緩存
- 當(dāng)然如果數(shù)據(jù)都是冗余在一起的話命满,就會(huì)造成數(shù)據(jù)一致性的問題藕甩。
參考:
原文地址:
https://my.oschina.net/huangcongmin12/blog/692783
緩存穿透、緩存并發(fā)、緩存失效之思路變遷
http://www.reibang.com/p/d96906140199