redis擊穿晕换、雪崩問題

redis是開發(fā)中重度使用的中間件產(chǎn)品午乓,在使用過程中踩過很多坑,遇到過擊穿闸准,雪崩益愈,穿透等多種場景, 對(duì)上述場景總結(jié)出如下使用經(jīng)驗(yàn)

1 夷家、擊穿
擊穿指的是單個(gè)key在緩存中查不到蒸其,去數(shù)據(jù)庫查詢,這樣如果數(shù)據(jù)量不大或者并發(fā)不大的話是沒有什么問題的库快。
如果數(shù)據(jù)庫數(shù)據(jù)量大并且是高并發(fā)的情況下那么就可能會(huì)造成數(shù)據(jù)庫壓力過大而崩潰.

方案:

   1摸袁、設(shè)置永久value ,在業(yè)務(wù)頂峰期定時(shí)去更新數(shù)據(jù)义屏,排隊(duì)刷新緩存靠汁。
   2、設(shè)置互斥鎖(mutex key)

比如闽铐,redis的SETNX 去set一個(gè)mutex key蝶怔,當(dāng)操作返回成功時(shí),再進(jìn)行l(wèi)oad db的操作并回設(shè)緩存兄墅;否則踢星,就重試整個(gè)get緩存的方法。
3隙咸、將擊穿的key緩存起來沐悦,但是時(shí)間不能太長,下次進(jìn)來是直接返回不存在五督,但是這種情況無法過濾掉動(dòng)態(tài)的key所踊,就是說每次請(qǐng)求進(jìn)來都是不同額key,這樣還是會(huì)造成這個(gè)問題

public function test($key){
        $key_mutex = "key_mutex";
        $redis = new \Redis;
        $val = $redis->get($key);
        if($val == null){
            if($redis->setnx($key_mutex,"DB or function")){
                $redis->set($key,"DB or function");
                $redis->del($key_mutex);
                return "DB or function";
            }else{
                return $redis->get($key);
            }
        } else {
            return $val;
        }
 }

2概荷、雪崩

雪崩指的是多個(gè)key查詢并且出現(xiàn)高并發(fā)秕岛,緩存中失效或者查不到,然后都去db查詢,從而導(dǎo)致db壓力突然飆升继薛,從而崩潰修壕。

出現(xiàn)原因:

  1、key同時(shí)失效
  2遏考、redis本身崩潰了

方案:
1慈鸠、在緩存失效后,通過加鎖或者隊(duì)列來控制讀數(shù)據(jù)庫寫緩存的線程數(shù)量灌具。比如對(duì)某個(gè)key只允許一個(gè)線程查詢數(shù)據(jù)和寫緩存青团,其他線程等待。

  2咖楣、在應(yīng)用層面控制減少查詢的次數(shù)督笆。
  3、可以通過緩存reload機(jī)制诱贿,預(yù)先去更新緩存娃肿,再即將發(fā)生大并發(fā)訪問前手動(dòng)觸發(fā)加載緩存。
  4珠十、不同的key料扰,設(shè)置不同的過期時(shí)間,具體值可以根據(jù)業(yè)務(wù)決定焙蹭,讓緩存失效的時(shí)間點(diǎn)盡量均勻做二級(jí)緩存晒杈,或者雙緩存策略。A1為原始緩存孔厉,A2為拷貝緩存拯钻,A1失效時(shí),可以訪問A2烟馅,A1緩存失效時(shí)間設(shè)置為短期说庭,A2設(shè)置為長期。(這種方式較復(fù)雜)

方案1和擊穿的第1個(gè)方案類似郑趁,但是這樣是避免不了其它key去查數(shù)據(jù)庫刊驴,只能通過方案2 減少查詢的次數(shù)。

    public static function sget($key, $obtainCacheDataFunc = NULL, $expiry = 0)
    {
        $redis = new \Redis;
        $cacheData = $redis->get($key);
        if ($redis->exists($key) == 0) {
//從二級(jí)緩存更新數(shù)據(jù)
            $cacheData = $redis->get("getSecondKey");
            if (is_callable($obtainCacheDataFunc)) {
                $lockGetCacheKey = "getTaskKey";
                if ($redis->set($lockGetCacheKey, 'key is exist?', 'ex', 60, 'nx')) {
                    $cacheData = serialize($obtainCacheDataFunc($key));
                    if (!$redis->set($key, $cacheData, 'ex', $expiry)) Log::write('redis_set_error');
                    $redis->set("getSecondKey", $cacheData, 'ex', $expiry + 3600);
                    $redis->del([$lockGetCacheKey]);
                }
            }
        }
        return unserialize($cacheData);
    }

3寡润、穿透

一般是出現(xiàn)這種情況是捆憎,因?yàn)閻阂忸l繁查詢才會(huì)對(duì)系統(tǒng)造成很大的問題: key緩存并且數(shù)據(jù)庫不存在,所以每次查詢都會(huì)查詢數(shù)據(jù)庫從而導(dǎo)致數(shù)據(jù)庫崩潰梭纹。
布隆過濾器是什么躲惰?
布隆過濾器可以理解為一個(gè)不怎么精確的 set 結(jié)構(gòu),當(dāng)你使用它的 contains 方法判斷某個(gè)對(duì)象是否存在時(shí)变抽,它可能會(huì)誤判础拨。但是布隆過濾器也不是特別不精確氮块,只要參數(shù)設(shè)置的合理,它的精確度可以控制的相對(duì)足夠精確诡宗,只會(huì)有小小的誤判概率滔蝉。
當(dāng)布隆過濾器說某個(gè)值存在時(shí),這個(gè)值可能不存在塔沃;當(dāng)它說不存在時(shí)蝠引,那就肯定不存在。打個(gè)比方蛀柴,當(dāng)它說不認(rèn)識(shí)你時(shí)螃概,肯定就不認(rèn)識(shí);當(dāng)它說見過你時(shí)鸽疾,可能根本就沒見過面吊洼,不過因?yàn)槟愕哪樃J(rèn)識(shí)的人中某臉比較相似 (某些熟臉的系數(shù)組合),所以誤判以前見過你肮韧。
缺點(diǎn):

 1融蹂、會(huì)存在一定的誤判率
 2旺订、對(duì)新增加的數(shù)據(jù)無法進(jìn)行布隆過濾
 3弄企、數(shù)據(jù)的key不會(huì)頻繁的更改

 google的 gauva中有布隆過濾的實(shí)現(xiàn)

BloomFilter的關(guān)鍵在于hash算法的設(shè)定和bit數(shù)組的大小確定,通過權(quán)衡得到一個(gè)錯(cuò)誤概率可以接受的結(jié)果区拳。
我們設(shè)置的容錯(cuò)率越小那么過濾函數(shù)也就多拘领,分配的空間也就越大(存放bits),那么誤判率也就越小樱调。

總結(jié):其實(shí)關(guān)于redis擊穿约素,穿透,雪崩基本都是大同小異笆凌,但是想實(shí)現(xiàn)高并發(fā)圣猎,高可用,高可靠的方案乞而,還是要層層阻擋送悔,從最前端的頁面,到ip的限制爪模,到網(wǎng)關(guān)欠啤,再到業(yè)務(wù)過濾和緩存,最好盡可能的減少落到DB的數(shù)據(jù)量屋灌。才能全面保證應(yīng)用程序的高并發(fā)洁段,高可用,高可靠共郭。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末祠丝,一起剝皮案震驚了整個(gè)濱河市疾呻,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌写半,老刑警劉巖罐韩,帶你破解...
    沈念sama閱讀 212,454評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異污朽,居然都是意外死亡散吵,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門蟆肆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來矾睦,“玉大人,你說我怎么就攤上這事炎功∶度撸” “怎么了?”我有些...
    開封第一講書人閱讀 157,921評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵蛇损,是天一觀的道長赁温。 經(jīng)常有香客問我,道長淤齐,這世上最難降的妖魔是什么股囊? 我笑而不...
    開封第一講書人閱讀 56,648評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮更啄,結(jié)果婚禮上稚疹,老公的妹妹穿的比我還像新娘。我一直安慰自己祭务,他們只是感情好内狗,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,770評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著义锥,像睡著了一般柳沙。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上拌倍,一...
    開封第一講書人閱讀 49,950評(píng)論 1 291
  • 那天赂鲤,我揣著相機(jī)與錄音,去河邊找鬼贰拿。 笑死蛤袒,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的膨更。 我是一名探鬼主播妙真,決...
    沈念sama閱讀 39,090評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼荚守!你這毒婦竟也來了珍德?” 一聲冷哼從身側(cè)響起练般,我...
    開封第一講書人閱讀 37,817評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎锈候,沒想到半個(gè)月后薄料,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,275評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡泵琳,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,592評(píng)論 2 327
  • 正文 我和宋清朗相戀三年摄职,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片获列。...
    茶點(diǎn)故事閱讀 38,724評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡谷市,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出击孩,到底是詐尸還是另有隱情迫悠,我是刑警寧澤,帶...
    沈念sama閱讀 34,409評(píng)論 4 333
  • 正文 年R本政府宣布巩梢,位于F島的核電站创泄,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏括蝠。R本人自食惡果不足惜鞠抑,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,052評(píng)論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望又跛。 院中可真熱鬧碍拆,春花似錦若治、人聲如沸慨蓝。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽礼烈。三九已至,卻和暖如春婆跑,著一層夾襖步出監(jiān)牢的瞬間此熬,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評(píng)論 1 266
  • 我被黑心中介騙來泰國打工滑进, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留犀忱,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,503評(píng)論 2 361
  • 正文 我出身青樓扶关,卻偏偏與公主長得像阴汇,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子节槐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,627評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容