Redis 持久化機(jī)制
緩存雪崩、緩存穿透、緩存預(yù)熱拖云、緩存更新、緩存降級(jí)等問題
熱點(diǎn)數(shù)據(jù)和冷數(shù)據(jù)是什么应又?
Memcache與Redis的區(qū)別都有哪些宙项?
單線程的redis為什么這么快
redis的數(shù)據(jù)類型,以及每種數(shù)據(jù)類型的使用場(chǎng)景株扛,Redis 內(nèi)部結(jié)構(gòu)
redis的過期策略以及內(nèi)存淘汰機(jī)制【~】
Redis 為什么是單線程的尤筐,優(yōu)點(diǎn)
如何解決redis的并發(fā)競(jìng)爭(zhēng)key問題
Redis 集群方案應(yīng)該怎么做?都有哪些方案洞就?
有沒有嘗試進(jìn)行多機(jī)redis 的部署盆繁?如何保證數(shù)據(jù)一致的?
對(duì)于大量的請(qǐng)求怎么樣處理
Redis 常見性能問題和解決方案旬蟋?
講解下Redis線程模型
為什么Redis的操作是原子性的油昂,怎么保證原子性的?
Redis事務(wù)
Redis實(shí)現(xiàn)分布式鎖
=====================================================
Redis 持久化機(jī)制
Redis是一個(gè)支持持久化的內(nèi)存數(shù)據(jù)庫倾贰,通過持久化機(jī)制把內(nèi)存中的數(shù)據(jù)同步到硬盤文件來保證數(shù)據(jù)持久化冕碟。當(dāng)Redis重啟后通過把硬盤文件重新加載到內(nèi)存,就能達(dá)到恢復(fù)數(shù)據(jù)的目的匆浙。
實(shí)現(xiàn):?jiǎn)为?dú)創(chuàng)建fork()一個(gè)子進(jìn)程鸣哀,將當(dāng)前父進(jìn)程的數(shù)據(jù)庫數(shù)據(jù)復(fù)制到子進(jìn)程的內(nèi)存中,然后由子進(jìn)程寫入到臨時(shí)文件中吞彤,持久化的過程結(jié)束了我衬,再用這個(gè)臨時(shí)文件替換上次的快照文件,然后子進(jìn)程退出饰恕,內(nèi)存釋放挠羔。RDB是Redis默認(rèn)的持久化方式。按照一定的時(shí)間周期策略把內(nèi)存的數(shù)據(jù)以快照的形式保存到硬盤的二進(jìn)制文件埋嵌。即Snapshot快照存儲(chǔ)破加,對(duì)應(yīng)產(chǎn)生的數(shù)據(jù)文件為dump.rdb,通過配置文件中的save參數(shù)來定義快照的周期雹嗦。( 快照可以是其所表示的數(shù)據(jù)的一個(gè)副本范舀,也可以是數(shù)據(jù)的一個(gè)復(fù)制品。)
AOF:Redis會(huì)將每一個(gè)收到的寫命令都通過Write函數(shù)追加到文件最后了罪,類似于MySQL的binlog锭环。當(dāng)Redis重啟是會(huì)通過重新執(zhí)行文件中保存的寫命令來在內(nèi)存中重建整個(gè)數(shù)據(jù)庫的內(nèi)容。
當(dāng)兩種方式同時(shí)開啟時(shí)泊藕,數(shù)據(jù)恢復(fù)Redis會(huì)優(yōu)先選擇AOF恢復(fù)辅辩。
緩存雪崩、緩存穿透、緩存預(yù)熱玫锋、緩存更新蛾茉、緩存降級(jí)等問題
一,緩存雪崩我們可以簡(jiǎn)單的理解為:由于原有緩存失效撩鹿,新緩存未到期間
(例如:我們?cè)O(shè)置緩存時(shí)采用了相同的過期時(shí)間谦炬,在同一時(shí)刻出現(xiàn)大面積的緩存過期),所有原本應(yīng)該訪問緩存的請(qǐng)求都去查詢數(shù)據(jù)庫了节沦,而對(duì)數(shù)據(jù)庫CPU和內(nèi)存造成巨大壓力吧寺,嚴(yán)重的會(huì)造成數(shù)據(jù)庫宕機(jī)。從而形成一系列連鎖反應(yīng)散劫,造成整個(gè)系統(tǒng)崩潰稚机。
解決辦法:
大多數(shù)系統(tǒng)設(shè)計(jì)者考慮用加鎖( 最多的解決方案)或者隊(duì)列的方式保證來保證不會(huì)有大量的線程對(duì)數(shù)據(jù)庫一次性進(jìn)行讀寫,從而避免失效時(shí)大量的并發(fā)請(qǐng)求落到底層存儲(chǔ)系統(tǒng)上获搏。還有一個(gè)簡(jiǎn)單方案就時(shí)講緩存失效時(shí)間分散開赖条。
二、緩存穿透
緩存穿透是指用戶查詢數(shù)據(jù)常熙,在數(shù)據(jù)庫沒有纬乍,自然在緩存中也不會(huì)有。這樣就導(dǎo)致用戶查詢的時(shí)候裸卫,在緩存中找不到仿贬,每次都要去數(shù)據(jù)庫再查詢一遍,然后返回空(相當(dāng)于進(jìn)行了兩次無用的查詢)墓贿。這樣請(qǐng)求就繞過緩存直接查數(shù)據(jù)庫茧泪,這也是經(jīng)常提的緩存命中率問題。
解決辦法;
最常見的則是采用布隆過濾器聋袋,將所有可能存在的數(shù)據(jù)哈希到一個(gè)足夠大的bitmap中队伟,一個(gè)一定不存在的數(shù)據(jù)會(huì)被這個(gè)bitmap攔截掉,從而避免了對(duì)底層存儲(chǔ)系統(tǒng)的查詢壓力幽勒。
另外也有一個(gè)更為簡(jiǎn)單粗暴的方法嗜侮,如果一個(gè)查詢返回的數(shù)據(jù)為空(不管是數(shù)據(jù)不存在,還是系統(tǒng)故障)啥容,我們?nèi)匀话堰@個(gè)空結(jié)果進(jìn)行緩存锈颗,但它的過期時(shí)間會(huì)很短,最長(zhǎng)不超過五分鐘咪惠。通過這個(gè)直接設(shè)置的默認(rèn)值存放到緩存击吱,這樣第二次到緩沖中獲取就有值了,而不會(huì)繼續(xù)訪問數(shù)據(jù)庫硝逢,這種辦法最簡(jiǎn)單粗暴姨拥。
5TB的硬盤上放滿了數(shù)據(jù),請(qǐng)寫一個(gè)算法將這些數(shù)據(jù)進(jìn)行排重渠鸽。如果這些數(shù)據(jù)是一些32bit大小的數(shù)據(jù)該如何解決叫乌?如果是64bit的呢?
對(duì)于空間的利用到達(dá)了一種極致徽缚,那就是Bitmap和布隆過濾器(Bloom Filter)憨奸。
Bitmap: 典型的就是哈希表
缺點(diǎn)是,Bitmap對(duì)于每個(gè)元素只能記錄1bit信息凿试,如果還想完成額外的功能排宰,恐怕只能靠犧牲更多的空間、時(shí)間來完成了那婉。
布隆過濾器(推薦)
就是引入了k(k>1)k(k>1)個(gè)相互獨(dú)立的哈希函數(shù)板甘,保證在給定的空間、誤判率下详炬,完成元素判重的過程盐类。
它的優(yōu)點(diǎn)是空間效率和查詢時(shí)間都遠(yuǎn)遠(yuǎn)超過一般的算法,缺點(diǎn)是有一定的誤識(shí)別率和刪除困難呛谜。
Bloom-Filter算法的核心思想就是利用多個(gè)不同的Hash函數(shù)來解決“沖突”在跳。
Hash存在一個(gè)沖突(碰撞)的問題,用同一個(gè)Hash得到的兩個(gè)URL的值有可能相同隐岛。為了減少?zèng)_突猫妙,我們可以多引入幾個(gè)Hash,如果通過其中的一個(gè)Hash值我們得出某元素不在集合中聚凹,那么該元素肯定不在集合中割坠。只有在所有的Hash函數(shù)告訴我們?cè)撛卦诩现袝r(shí),才能確定該元素存在于集合中妒牙。這便是Bloom-Filter的基本思想韭脊。
Bloom-Filter一般用于在大數(shù)據(jù)量的集合中判定某元素是否存在。
受提醒補(bǔ)充:緩存穿透與緩存擊穿的區(qū)別
緩存擊穿:指一個(gè)key非常熱點(diǎn)单旁,大并發(fā)集中對(duì)這個(gè)key進(jìn)行訪問沪羔,當(dāng)這個(gè)key在失效的瞬間,仍然持續(xù)的大并發(fā)訪問就穿破緩存象浑,轉(zhuǎn)而直接請(qǐng)求數(shù)據(jù)庫蔫饰。
解決方案;在訪問key之前,采用SETNX(set if not exists)來設(shè)置另一個(gè)短期key來鎖住當(dāng)前key的訪問愉豺,訪問結(jié)束再刪除該短期key篓吁。
三、緩存預(yù)熱
緩存預(yù)熱這個(gè)應(yīng)該是一個(gè)比較常見的概念蚪拦,相信很多小伙伴都應(yīng)該可以很容易的理解杖剪,緩存預(yù)熱就是系統(tǒng)上線后冻押,將相關(guān)的緩存數(shù)據(jù)直接加載到緩存系統(tǒng)。這樣就可以避免在用戶請(qǐng)求的時(shí)候盛嘿,先查詢數(shù)據(jù)庫洛巢,然后再將數(shù)據(jù)緩存的問題!用戶直接查詢事先被預(yù)熱的緩存數(shù)據(jù)次兆!
解決思路:
1稿茉、直接寫個(gè)緩存刷新頁面,上線時(shí)手工操作下芥炭;
2漓库、數(shù)據(jù)量不大,可以在項(xiàng)目啟動(dòng)的時(shí)候自動(dòng)進(jìn)行加載园蝠;
3渺蒿、定時(shí)刷新緩存;
四彪薛、緩存更新
除了緩存服務(wù)器自帶的緩存失效策略之外(Redis默認(rèn)的有6中策略可供選擇)蘸嘶,我們還可以根據(jù)具體的業(yè)務(wù)需求進(jìn)行自定義的緩存淘汰,常見的策略有兩種:
(1)定時(shí)去清理過期的緩存陪汽;
(2)當(dāng)有用戶請(qǐng)求過來時(shí)训唱,再判斷這個(gè)請(qǐng)求所用到的緩存是否過期,過期的話就去底層系統(tǒng)得到新數(shù)據(jù)并更新緩存挚冤。
兩者各有優(yōu)劣况增,第一種的缺點(diǎn)是維護(hù)大量緩存的key是比較麻煩的,第二種的缺點(diǎn)就是每次用戶請(qǐng)求過來都要判斷緩存失效训挡,邏輯相對(duì)比較復(fù)雜澳骤!具體用哪種方案,大家可以根據(jù)自己的應(yīng)用場(chǎng)景來權(quán)衡澜薄。
五为肮、緩存降級(jí)
當(dāng)訪問量劇增、服務(wù)出現(xiàn)問題(如響應(yīng)時(shí)間慢或不響應(yīng))或非核心服務(wù)影響到核心流程的性能時(shí)肤京,仍然需要保證服務(wù)還是可用的颊艳,即使是有損服務(wù)。系統(tǒng)可以根據(jù)一些關(guān)鍵數(shù)據(jù)進(jìn)行自動(dòng)降級(jí)忘分,也可以配置開關(guān)實(shí)現(xiàn)人工降級(jí)棋枕。
降級(jí)的最終目的是保證核心服務(wù)可用,即使是有損的妒峦。而且有些服務(wù)是無法降級(jí)的(如加入購(gòu)物車重斑、結(jié)算)。
以參考日志級(jí)別設(shè)置預(yù)案:
(1)一般:比如有些服務(wù)偶爾因?yàn)榫W(wǎng)絡(luò)抖動(dòng)或者服務(wù)正在上線而超時(shí)肯骇,可以自動(dòng)降級(jí)窥浪;
(2)警告:有些服務(wù)在一段時(shí)間內(nèi)成功率有波動(dòng)(如在95~100%之間)祖很,可以自動(dòng)降級(jí)或人工降級(jí),并發(fā)送告警漾脂;
(3)錯(cuò)誤:比如可用率低于90%假颇,或者數(shù)據(jù)庫連接池被打爆了,或者訪問量突然猛增到系統(tǒng)能承受的最大閥值符相,此時(shí)可以根據(jù)情況自動(dòng)降級(jí)或者人工降級(jí)拆融;
(4)嚴(yán)重錯(cuò)誤:比如因?yàn)樘厥庠驍?shù)據(jù)錯(cuò)誤了蠢琳,此時(shí)需要緊急人工降級(jí)啊终。
服務(wù)降級(jí)的目的,是為了防止Redis服務(wù)故障傲须,導(dǎo)致數(shù)據(jù)庫跟著一起發(fā)生雪崩問題蓝牲。因此,對(duì)于不重要的緩存數(shù)據(jù)泰讽,可以采取服務(wù)降級(jí)策略例衍,例如一個(gè)比較常見的做法就是,Redis出現(xiàn)問題已卸,不去數(shù)據(jù)庫查詢佛玄,而是直接返回默認(rèn)值給用戶。
熱點(diǎn)數(shù)據(jù)和冷數(shù)據(jù)是什么
熱點(diǎn)數(shù)據(jù)累澡,緩存才有價(jià)值
對(duì)于冷數(shù)據(jù)而言梦抢,大部分?jǐn)?shù)據(jù)可能還沒有再次訪問到就已經(jīng)被擠出內(nèi)存,不僅占用內(nèi)存愧哟,而且價(jià)值不大奥吩。頻繁修改的數(shù)據(jù),看情況考慮使用緩存
對(duì)于上面兩個(gè)例子蕊梧,壽星列表霞赫、導(dǎo)航信息都存在一個(gè)特點(diǎn),就是信息修改頻率不高肥矢,讀取通常非常高的場(chǎng)景端衰。
對(duì)于熱點(diǎn)數(shù)據(jù),比如我們的某IM產(chǎn)品甘改,生日祝福模塊靴迫,當(dāng)天的壽星列表,緩存以后可能讀取數(shù)十萬次楼誓。再舉個(gè)例子玉锌,某導(dǎo)航產(chǎn)品,我們將導(dǎo)航信息疟羹,緩存以后可能讀取數(shù)百萬次主守。
數(shù)據(jù)更新前至少讀取兩次禀倔,**緩存才有意義。這個(gè)是最基本的策略参淫,如果緩存還沒有起作用就失效了救湖,那就沒有太大價(jià)值了。
那存不存在涎才,修改頻率很高鞋既,但是又不得不考慮緩存的場(chǎng)景呢?有耍铜!比如邑闺,這個(gè)讀取接口對(duì)數(shù)據(jù)庫的壓力很大,但是又是熱點(diǎn)數(shù)據(jù)棕兼,這個(gè)時(shí)候就需要考慮通過緩存手段陡舅,減少數(shù)據(jù)庫的壓力,比如我們的某助手產(chǎn)品的伴挚,點(diǎn)贊數(shù)靶衍,收藏?cái)?shù),分享數(shù)等是非常典型的熱點(diǎn)數(shù)據(jù)茎芋,但是又不斷變化颅眶,此時(shí)就需要將數(shù)據(jù)同步保存到Redis緩存,減少數(shù)據(jù)庫壓力田弥。
Memcache與Redis的區(qū)別都有哪些涛酗?
- 1)、存儲(chǔ)方式 Memecache把數(shù)據(jù)全部存在內(nèi)存之中皱蹦,斷電后會(huì)掛掉煤杀,數(shù)據(jù)不能超過內(nèi)存大小。 Redis有部份存在硬盤上沪哺,redis可以持久化其數(shù)據(jù)
- 2)沈自、數(shù)據(jù)支持類型 memcached所有的值均是簡(jiǎn)單的字符串,redis作為其替代者辜妓,支持更為豐富的數(shù)據(jù)類型 枯途,提供list,set籍滴,zset酪夷,hash等數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)
- 3)、使用底層模型不同 它們之間底層實(shí)現(xiàn)方式 以及與客戶端之間通信的應(yīng)用協(xié)議不一樣孽惰。 Redis直接自己構(gòu)建了VM 機(jī)制 晚岭,因?yàn)橐话愕南到y(tǒng)調(diào)用系統(tǒng)函數(shù)的話,會(huì)浪費(fèi)一定的時(shí)間去移動(dòng)和請(qǐng)求勋功。
- 4). value 值大小不同:Redis 最大可以達(dá)到 512M坦报;memcache 只有 1mb库说。
- 5)redis的速度比memcached快很多
- 6)Redis支持?jǐn)?shù)據(jù)的備份,即master-slave模式的數(shù)據(jù)備份片择。
單線程的redis為什么這么快?
- (一)純內(nèi)存操作
- (二)單線程操作潜的,避免了頻繁的上下文切換
- (三)采用了非阻塞I/O多路復(fù)用機(jī)制
redis的數(shù)據(jù)類型,以及每種數(shù)據(jù)類型的使用場(chǎng)景?
回答:一共五種
(一)String
這個(gè)其實(shí)沒啥好說的字管,最常規(guī)的set/get操作啰挪,value可以是String也可以是數(shù)字。一般做一些復(fù)雜的計(jì)數(shù)功能的緩存嘲叔。
(二)hash
這里value存放的是結(jié)構(gòu)化的對(duì)象亡呵,比較方便的就是操作其中的某個(gè)字段。博主在做單點(diǎn)登錄的時(shí)候借跪,就是用這種數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)用戶信息政己,以cookieId作為key酌壕,設(shè)置30分鐘為緩存過期時(shí)間掏愁,能很好的模擬出類似session的效果。
(三)list
使用List的數(shù)據(jù)結(jié)構(gòu)卵牍,可以做簡(jiǎn)單的消息隊(duì)列的功能果港。另外還有一個(gè)就是,可以利用lrange命令糊昙,做基于redis的分頁功能辛掠,性能極佳,用戶體驗(yàn)好释牺。本人還用一個(gè)場(chǎng)景萝衩,很合適—取行情信息。就也是個(gè)生產(chǎn)者和消費(fèi)者的場(chǎng)景没咙。LIST可以很好的完成排隊(duì)猩谊,先進(jìn)先出的原則。
(四)set
因?yàn)閟et堆放的是一堆不重復(fù)值的集合祭刚。所以可以做全局去重的功能牌捷。為什么不用JVM自帶的Set進(jìn)行去重?因?yàn)槲覀兊南到y(tǒng)一般都是集群部署涡驮,使用JVM自帶的Set暗甥,比較麻煩,難道為了一個(gè)做一個(gè)全局去重捉捅,再起一個(gè)公共服務(wù)撤防,太麻煩了。
另外棒口,就是利用交集寄月、并集焰情、差集等操作,可以計(jì)算共同喜好剥懒,全部的喜好内舟,自己獨(dú)有的喜好等功能。
(五)sorted set
sorted set多了一個(gè)權(quán)重參數(shù)score,集合中的元素能夠按score進(jìn)行排列初橘⊙橛危可以做排行榜應(yīng)用,取TOP N操作保檐。
Redis 內(nèi)部結(jié)構(gòu)
- dict 本質(zhì)上是為了解決算法中的查找問題(Searching)是一個(gè)用于維護(hù)key和value映射關(guān)系的數(shù)據(jù)結(jié)構(gòu)耕蝉,與很多語言中的Map或dictionary類似。 本質(zhì)上是為了解決算法中的查找問題(Searching)
- sds sds就等同于char * 它可以存儲(chǔ)任意二進(jìn)制數(shù)據(jù)夜只,不能像C語言字符串那樣以字符’\0’來標(biāo)識(shí)字符串的結(jié) 束垒在,因此它必然有個(gè)長(zhǎng)度字段。
- skiplist (跳躍表) 跳表是一種實(shí)現(xiàn)起來很簡(jiǎn)單扔亥,單層多指針的鏈表场躯,它查找效率很高,堪比優(yōu)化過的二叉平衡樹旅挤,且比平衡樹的實(shí)現(xiàn)踢关,
quicklist - ziplist 壓縮表 ziplist是一個(gè)編碼后的列表,是由一系列特殊編碼的連續(xù)內(nèi)存塊組成的順序型數(shù)據(jù)結(jié)構(gòu)粘茄,
redis的過期策略以及內(nèi)存淘汰機(jī)制
- redis采用的是定期刪除+惰性刪除策略签舞。
為什么不用定時(shí)刪除策略?
定時(shí)刪除,用一個(gè)定時(shí)器來負(fù)責(zé)監(jiān)視key,過期則自動(dòng)刪除。雖然內(nèi)存及時(shí)釋放柒瓣,但是十分消耗CPU資源儒搭。在大并發(fā)請(qǐng)求下,CPU要將時(shí)間應(yīng)用在處理請(qǐng)求芙贫,而不是刪除key,因此沒有采用這一策略.
定期刪除+惰性刪除是如何工作的呢?
定期刪除搂鲫,redis默認(rèn)每個(gè)100ms檢查,是否有過期的key,有過期key則刪除屹培。需要說明的是默穴,redis不是每個(gè)100ms將所有的key檢查一次,而是隨機(jī)抽取進(jìn)行檢查(如果每隔100ms,全部key進(jìn)行檢查褪秀,redis豈不是卡死)蓄诽。因此,如果只采用定期刪除策略媒吗,會(huì)導(dǎo)致很多key到時(shí)間沒有刪除仑氛。
于是,惰性刪除派上用場(chǎng)。也就是說在你獲取某個(gè)key的時(shí)候锯岖,redis會(huì)檢查一下介袜,這個(gè)key如果設(shè)置了過期時(shí)間那么是否過期了?如果過期了此時(shí)就會(huì)刪除出吹。
采用定期刪除+惰性刪除就沒其他問題了么?
不是的遇伞,如果定期刪除沒刪除key。然后你也沒即時(shí)去請(qǐng)求key捶牢,也就是說惰性刪除也沒生效鸠珠。這樣鬼吵,redis的內(nèi)存會(huì)越來越高亮元。那么就應(yīng)該采用內(nèi)存淘汰機(jī)制。
在redis.conf中有一行配置
maxmemory-policy volatile-lru
該配置就是配內(nèi)存淘汰策略的(什么孔祸,你沒配過灸蟆?好好反省一下自己)
- volatile-lru:從已設(shè)置過期時(shí)間的數(shù)據(jù)集(server.db[i].expires)中挑選最近最少使用的數(shù)據(jù)淘汰
- volatile-ttl:從已設(shè)置過期時(shí)間的數(shù)據(jù)集(server.db[i].expires)中挑選將要過期的數(shù)據(jù)淘汰
- volatile-random:從已設(shè)置過期時(shí)間的數(shù)據(jù)集(server.db[i].expires)中任意選擇數(shù)據(jù)淘汰
- allkeys-lru:從數(shù)據(jù)集(server.db[i].dict)中挑選最近最少使用的數(shù)據(jù)淘汰
- allkeys-random:從數(shù)據(jù)集(server.db[i].dict)中任意選擇數(shù)據(jù)淘汰
- no-enviction(驅(qū)逐):禁止驅(qū)逐數(shù)據(jù)驯耻,新寫入操作會(huì)報(bào)錯(cuò)
ps:如果沒有設(shè)置 expire 的key, 不滿足先決條件(prerequisites); 那么 volatile-lru, - - - volatile-random 和 volatile-ttl 策略的行為, 和 noeviction(不刪除) 基本上一致。
Redis 為什么是單線程的
官方FAQ表示炒考,因?yàn)镽edis是基于內(nèi)存的操作可缚,CPU不是Redis的瓶頸,Redis的瓶頸最有可能是機(jī)器內(nèi)存的大小或者網(wǎng)絡(luò)帶寬票腰。既然單線程容易實(shí)現(xiàn)城看,而且CPU不會(huì)成為瓶頸女气,那就順理成章地采用單線程的方案了(畢竟采用多線程會(huì)有很多麻煩P游俊)Redis利用隊(duì)列技術(shù)將并發(fā)訪問變?yōu)榇性L問
1)絕大部分請(qǐng)求是純粹的內(nèi)存操作(非常快速)2)采用單線程,避免了不必要的上下文切換和競(jìng)爭(zhēng)條件
3)非阻塞IO優(yōu)點(diǎn):
1.速度快炼鞠,因?yàn)閿?shù)據(jù)存在內(nèi)存中缘滥,類似于HashMap,HashMap的優(yōu)勢(shì)就是查找和操作的時(shí)間復(fù)雜度都是O(1)
- 支持豐富數(shù)據(jù)類型谒主,支持string朝扼,list,set霎肯,sorted set擎颖,hash
3.支持事務(wù),操作都是原子性观游,所謂的原子性就是對(duì)數(shù)據(jù)的更改要么全部執(zhí)行搂捧,要么全部不執(zhí)行- 豐富的特性:可用于緩存,消息懂缕,按key設(shè)置過期時(shí)間允跑,過期后將會(huì)自動(dòng)刪除如何解決redis的并發(fā)競(jìng)爭(zhēng)key問題
同時(shí)有多個(gè)子系統(tǒng)去set一個(gè)key。這個(gè)時(shí)候要注意什么呢? 不推薦使用redis的事務(wù)機(jī)制聋丝。因?yàn)槲覀兊纳a(chǎn)環(huán)境索烹,基本都是redis集群環(huán)境,做了數(shù)據(jù)分片操作弱睦。你一個(gè)事務(wù)中有涉及到多個(gè)key操作的時(shí)候百姓,這多個(gè)key不一定都存儲(chǔ)在同一個(gè)redis-server上。因此况木,redis的事務(wù)機(jī)制瓣戚,十分雞肋。
(1)如果對(duì)這個(gè)key操作焦读,不要求順序: 準(zhǔn)備一個(gè)分布式鎖子库,大家去搶鎖,搶到鎖就做set操作即可
(2)如果對(duì)這個(gè)key操作矗晃,要求順序: 分布式鎖+時(shí)間戳仑嗅。 假設(shè)這會(huì)系統(tǒng)B先搶到鎖,將key1設(shè)置為{valueB 3:05}张症。接下來系統(tǒng)A搶到鎖仓技,發(fā)現(xiàn)自己的valueA的時(shí)間戳早于緩存中的時(shí)間戳,那就不做set操作了俗他。以此類推脖捻。
(3) 利用隊(duì)列,將set方法變成串行訪問也可以redis遇到高并發(fā)兆衅,如果保證讀寫key的一致性
對(duì)redis的操作都是具有原子性的,是線程安全的操作,你不用考慮并發(fā)問題,redis內(nèi)部已經(jīng)幫你處理好并發(fā)的問題了地沮。
Redis 集群方案應(yīng)該怎么做?都有哪些方案羡亩?
1.twemproxy摩疑,大概概念是,它類似于一個(gè)代理方式畏铆, 使用時(shí)在本需要連接 redis 的地方改為連接 twemproxy雷袋, 它會(huì)以一個(gè)代理的身份接收請(qǐng)求并使用一致性 hash 算法,將請(qǐng)求轉(zhuǎn)接到具體 redis辞居,將結(jié)果再返回 twemproxy楷怒。
缺點(diǎn): twemproxy 自身單端口實(shí)例的壓力,使用一致性 hash 后瓦灶,對(duì) redis 節(jié)點(diǎn)數(shù)量改變時(shí)候的計(jì)算值的改變鸠删,數(shù)據(jù)無法自動(dòng)移動(dòng)到新的節(jié)點(diǎn)。2.codis倚搬,目前用的最多的集群方案冶共,基本和 twemproxy 一致的效果,但它支持在 節(jié)點(diǎn)數(shù)量改變情況下,舊節(jié)點(diǎn)數(shù)據(jù)可恢復(fù)到新 hash 節(jié)點(diǎn)
3.redis cluster3.0 自帶的集群捅僵,特點(diǎn)在于他的分布式算法不是一致性 hash家卖,而是 hash 槽的概念,以及自身支持節(jié)點(diǎn)設(shè)置從節(jié)點(diǎn)庙楚。具體看官方文檔介紹上荡。
有沒有嘗試進(jìn)行多機(jī)redis 的部署?如何保證數(shù)據(jù)一致的馒闷?
主從復(fù)制酪捡,讀寫分離
一類是主數(shù)據(jù)庫(master)一類是從數(shù)據(jù)庫(slave),主數(shù)據(jù)庫可以進(jìn)行讀寫操作纳账,當(dāng)發(fā)生寫操作的時(shí)候自動(dòng)將數(shù)據(jù)同步到從數(shù)據(jù)庫逛薇,而從數(shù)據(jù)庫一般是只讀的,并接收主數(shù)據(jù)庫同步過來的數(shù)據(jù)疏虫,一個(gè)主數(shù)據(jù)庫可以有多個(gè)從數(shù)據(jù)庫永罚,而一個(gè)從數(shù)據(jù)庫只能有一個(gè)主數(shù)據(jù)庫。
對(duì)于大量的請(qǐng)求怎么樣處理
redis是一個(gè)單線程程序卧秘,也就說同一時(shí)刻它只能處理一個(gè)客戶端請(qǐng)求呢袱;
redis是通過IO多路復(fù)用(select,epoll, kqueue翅敌,依據(jù)不同的平臺(tái)羞福,采取不同的實(shí)現(xiàn))來處理多個(gè)客戶端請(qǐng)求的
Redis 常見性能問題和解決方案?
- (1) Master 最好不要做任何持久化工作蚯涮,如 RDB 內(nèi)存快照和 AOF 日志文件
- (2) 如果數(shù)據(jù)比較重要治专,某個(gè) Slave 開啟 AOF 備份數(shù)據(jù),策略設(shè)置為每秒同步一次
- (3) 為了主從復(fù)制的速度和連接的穩(wěn)定性恋昼, Master 和 Slave 最好在同一個(gè)局域網(wǎng)內(nèi)
- (4) 盡量避免在壓力很大的主庫上增加從庫
- (5) 主從復(fù)制不要用圖狀結(jié)構(gòu)看靠,用單向鏈表結(jié)構(gòu)更為穩(wěn)定,即: Master <- Slave1 <- Slave2 <-
Slave3…
講解下Redis線程模型
文件事件處理器包括分別是套接字液肌、 I/O 多路復(fù)用程序、 文件事件分派器(dispatcher)鸥滨、 以及事件處理器嗦哆。使用 I/O 多路復(fù)用程序來同時(shí)監(jiān)聽多個(gè)套接字, 并根據(jù)套接字目前執(zhí)行的任務(wù)來為套接字關(guān)聯(lián)不同的事件處理器婿滓。當(dāng)被監(jiān)聽的套接字準(zhǔn)備好執(zhí)行連接應(yīng)答(accept)老速、讀取(read)凸主、寫入(write)橘券、關(guān)閉(close)等操作時(shí), 與操作相對(duì)應(yīng)的文件事件就會(huì)產(chǎn)生, 這時(shí)文件事件處理器就會(huì)調(diào)用套接字之前關(guān)聯(lián)好的事件處理器來處理這些事件旁舰。
I/O 多路復(fù)用程序負(fù)責(zé)監(jiān)聽多個(gè)套接字锋华, 并向文件事件分派器傳送那些產(chǎn)生了事件的套接字。
工作原理:
1)I/O 多路復(fù)用程序負(fù)責(zé)監(jiān)聽多個(gè)套接字箭窜, 并向文件事件分派器傳送那些產(chǎn)生了事件的套接字毯焕。
盡管多個(gè)文件事件可能會(huì)并發(fā)地出現(xiàn), 但 I/O 多路復(fù)用程序總是會(huì)將所有產(chǎn)生事件的套接字都入隊(duì)到一個(gè)隊(duì)列里面磺樱, 然后通過這個(gè)隊(duì)列纳猫, 以有序(sequentially)、同步(synchronously)竹捉、每次一個(gè)套接字的方式向文件事件分派器傳送套接字: 當(dāng)上一個(gè)套接字產(chǎn)生的事件被處理完畢之后(該套接字為事件所關(guān)聯(lián)的事件處理器執(zhí)行完畢)芜辕, I/O 多路復(fù)用程序才會(huì)繼續(xù)向文件事件分派器傳送下一個(gè)套接字。如果一個(gè)套接字又可讀又可寫的話块差, 那么服務(wù)器將先讀套接字物遇, 后寫套接字.
為什么Redis的操作是原子性的,怎么保證原子性的憾儒?
對(duì)于Redis而言询兴,命令的原子性指的是:一個(gè)操作的不可以再分,操作要么執(zhí)行起趾,要么不執(zhí)行诗舰。
Redis的操作之所以是原子性的,是因?yàn)镽edis是單線程的训裆。
Redis本身提供的所有API都是原子操作眶根,Redis中的事務(wù)其實(shí)是要保證批量操作的原子性。
多個(gè)命令在并發(fā)中也是原子性的嗎边琉?
不一定属百, 將get和set改成單命令操作,incr 变姨。使用Redis的事務(wù)族扰,或者使用Redis+Lua==的方式實(shí)現(xiàn).
Redis事務(wù)
Redis事務(wù)功能是通過MULTI、EXEC定欧、DISCARD和WATCH 四個(gè)原語實(shí)現(xiàn)的
Redis會(huì)將一個(gè)事務(wù)中的所有命令序列化渔呵,然后按順序執(zhí)行。
1.redis 不支持回滾“Redis 在事務(wù)失敗時(shí)不進(jìn)行回滾砍鸠,而是繼續(xù)執(zhí)行余下的命令”扩氢, 所以 Redis 的內(nèi)部可以保持簡(jiǎn)單且快速。
2.如果在一個(gè)事務(wù)中的命令出現(xiàn)錯(cuò)誤爷辱,那么所有的命令都不會(huì)執(zhí)行录豺;
3.如果在一個(gè)事務(wù)中出現(xiàn)運(yùn)行錯(cuò)誤朦肘,那么正確的命令會(huì)被執(zhí)行。
注:redis的discard只是結(jié)束本次事務(wù),正確命令造成的影響仍然存在.
1)MULTI命令用于開啟一個(gè)事務(wù)双饥,它總是返回OK媒抠。 MULTI執(zhí)行之后,客戶端可以繼續(xù)向服務(wù)器發(fā)送任意多條命令兢哭,這些命令不會(huì)立即被執(zhí)行领舰,而是被放到一個(gè)隊(duì)列中,當(dāng)EXEC命令被調(diào)用時(shí)迟螺,所有隊(duì)列中的命令才會(huì)被執(zhí)行冲秽。
2)EXEC:執(zhí)行所有事務(wù)塊內(nèi)的命令。返回事務(wù)塊內(nèi)所有命令的返回值矩父,按命令執(zhí)行的先后順序排列锉桑。 當(dāng)操作被打斷時(shí),返回空值 nil 窍株。
3)通過調(diào)用DISCARD民轴,客戶端可以清空事務(wù)隊(duì)列,并放棄執(zhí)行事務(wù)球订, 并且客戶端會(huì)從事務(wù)狀態(tài)中退出后裸。
4)WATCH 命令可以為 Redis 事務(wù)提供 check-and-set (CAS)行為。 可以監(jiān)控一個(gè)或多個(gè)鍵冒滩,一旦其中有一個(gè)鍵被修改(或刪除)微驶,之后的事務(wù)就不會(huì)執(zhí)行,監(jiān)控一直持續(xù)到EXEC命令开睡。
Redis實(shí)現(xiàn)分布式鎖
Redis為單進(jìn)程單線程模式因苹,采用隊(duì)列模式將并發(fā)訪問變成串行訪問,且多客戶端對(duì)Redis的連接并不存在競(jìng)爭(zhēng)關(guān)系Redis中可以使用SETNX命令實(shí)現(xiàn)分布式鎖篇恒。
將 key 的值設(shè)為 value 扶檐,當(dāng)且僅當(dāng) key 不存在。 若給定的 key 已經(jīng)存在胁艰,則 SETNX 不做任何動(dòng)作
解鎖:使用 del key 命令就能釋放鎖
解決死鎖:
1)通過Redis中expire()給鎖設(shè)定最大持有時(shí)間款筑,如果超過,則Redis來幫我們釋放鎖蝗茁。
2) 使用 setnx key “當(dāng)前系統(tǒng)時(shí)間+鎖持有的時(shí)間”和getset key “當(dāng)前系統(tǒng)時(shí)間+鎖持有的時(shí)間”組合的命令就可以實(shí)現(xiàn)醋虏。