【騰訊阿里最全面試題】Redis持久化RDB和AOF 的區(qū)別

持久化方式有哪些?有什么區(qū)別港庄?

redis持久化方案分為RDB和AOF兩種倔既。

RDB

RDB持久化可以手動執(zhí)行也可以根據配置定期執(zhí)行,它的作用是將某個時間點上的數據庫狀態(tài)保存到RDB文件中鹏氧,RDB文件是一個壓縮的二進制文件渤涌,通過它可以還原某個時刻數據庫的狀態(tài)。由于RDB文件是保存在硬盤上的把还,所以即使redis崩潰或者退出实蓬,只要RDB文件存在,就可以用它來恢復還原數據庫的狀態(tài)吊履。

可以通過SAVE或者BGSAVE來生成RDB文件安皱。

SAVE命令會阻塞redis進程,直到RDB文件生成完畢艇炎,在進程阻塞期間酌伊,redis不能處理任何命令請求,這顯然是不合適的缀踪。

BGSAVE則是會fork出一個子進程居砖,然后由子進程去負責生成RDB文件,父進程還可以繼續(xù)處理命令請求驴娃,不會阻塞進程奏候。

AOF

AOF和RDB不同,AOF是通過保存redis服務器所執(zhí)行的寫命令來記錄數據庫狀態(tài)的唇敞。

AOF通過追加蔗草、寫入、同步三個步驟來實現持久化機制厚棵。

  1. 當AOF持久化處于激活狀態(tài)蕉世,服務器執(zhí)行完寫命令之后,寫命令將會被追加append到aof_buf緩沖區(qū)的末尾
  2. 在服務器每結束一個事件循環(huán)之前婆硬,將會調用flushAppendOnlyFile函數決定是否要將aof_buf的內容保存到AOF文件中狠轻,可以通過配置appendfsync來決定。
always ##aof_buf內容寫入并同步到AOF文件
everysec ##將aof_buf中內容寫入到AOF文件彬犯,如果上次同步AOF文件時間距離現在超過1秒向楼,則再次對AOF文件進行同步
no ##將aof_buf內容寫入AOF文件查吊,但是并不對AOF文件進行同步湖蜕,同步時間由操作系統(tǒng)決定

如果不設置,默認選項將會是everysec昭抒,因為always來說雖然最安全(只會丟失一次事件循環(huán)的寫命令),但是性能較差盗迟,而everysec模式只不過會可能丟失1秒鐘的數據,而no模式的效率和everysec相仿罚缕,但是會丟失上次同步AOF文件之后的所有寫命令數據。

說說Redis基本數據類型有哪些吧

  1. 字符串:redis沒有直接使用C語言傳統(tǒng)的字符串表示邮弹,而是自己實現的叫做簡單動態(tài)字符串SDS的抽象類型。C語言的字符串不記錄自身的長度信息蚓聘,而SDS則保存了長度信息腌乡,這樣將獲取字符串長度的時間由O(N)降低到了O(1),同時可以避免緩沖區(qū)溢出和減少修改字符串長度時所需的內存重分配次數夜牡。
  2. 鏈表linkedlist:redis鏈表是一個雙向無環(huán)鏈表結構导饲,很多發(fā)布訂閱、慢查詢氯材、監(jiān)視器功能都是使用到了鏈表來實現,每個鏈表的節(jié)點由一個listNode結構來表示硝岗,每個節(jié)點都有指向前置節(jié)點和后置節(jié)點的指針氢哮,同時表頭節(jié)點的前置和后置節(jié)點都指向NULL。
  3. 字典hashtable:用于保存鍵值對的抽象數據結構型檀。redis使用hash表作為底層實現冗尤,每個字典帶有兩個hash表,供平時使用和rehash時使用胀溺,hash表使用鏈地址法來解決鍵沖突裂七,被分配到同一個索引位置的多個鍵值對會形成一個單向鏈表,在對hash表進行擴容或者縮容的時候仓坞,為了服務的可用性背零,rehash的過程不是一次性完成的,而是漸進式的无埃。
  4. 跳躍表skiplist:跳躍表是有序集合的底層實現之一徙瓶,redis中在實現有序集合鍵和集群節(jié)點的內部結構中都是用到了跳躍表毛雇。redis跳躍表由zskiplist和zskiplistNode組成,zskiplist用于保存跳躍表信息(表頭侦镇、表尾節(jié)點灵疮、長度等),zskiplistNode用于表示表跳躍節(jié)點壳繁,每個跳躍表的層高都是1-32的隨機數震捣,在同一個跳躍表中,多個節(jié)點可以包含相同的分值闹炉,但是每個節(jié)點的成員對象必須是唯一的蒿赢,節(jié)點按照分值大小排序剩胁,如果分值相同,則按照成員對象的大小排序晾腔。
  5. 整數集合intset:用于保存整數值的集合抽象數據結構灼擂,不會出現重復元素剔应,底層實現為數組峻贮。
  6. 壓縮列表ziplist:壓縮列表是為節(jié)約內存而開發(fā)的順序性數據結構纤控,他可以包含多個節(jié)點船万,每個節(jié)點可以保存一個字節(jié)數組或者整數值耿导。

基于這些基礎的數據結構舱呻,redis封裝了自己的對象系統(tǒng)狮荔,包含字符串對象string、列表對象list晚树、哈希對象hash爵憎、集合對象set宝鼓、有序集合對象zset愚铡,每種對象都用到了至少一種基礎的數據結構沥寥。

redis通過encoding屬性設置對象的編碼形式來提升靈活性和效率淮野,基于不同的場景redis會自動做出優(yōu)化骤星。不同對象的編碼如下:

  1. 字符串對象string:int整數妈踊、embstr編碼的簡單動態(tài)字符串、raw簡單動態(tài)字符串
  2. 列表對象list:ziplist萝勤、linkedlist
  3. 哈希對象hash:ziplist敌卓、hashtable
  4. 集合對象set:intset趟径、hashtable
  5. 有序集合對象zset:ziplist、skiplist

Redis為什么快呢掌眠?

redis的速度非常的快蓝丙,單機的redis就可以支撐每秒10幾萬的并發(fā)渺尘,相對于mysql來說鸥跟,性能是mysql的幾十倍盔沫。速度快的原因主要有幾點:

  1. 完全基于內存操作
  2. C語言實現迅诬,優(yōu)化過的數據結構侈贷,基于幾種基礎的數據結構俏蛮,redis做了大量的優(yōu)化搏屑,性能極高
  3. 使用單線程辣恋,無上下文的切換成本
  4. 基于非阻塞的IO多路復用機制

那為什么Redis6.0之后又改用多線程呢?

redis使用多線程并非是完全摒棄單線程伟骨,redis還是使用單線程模型來處理客戶端的請求携狭,只是使用多線程來處理數據的讀寫和協議解析,執(zhí)行命令還是使用單線程稀并。

這樣做的目的是因為redis的性能瓶頸在于網絡IO而非CPU,使用多線程能提升IO讀寫的效率碘举,從而整體提高redis的性能殴俱。

知道什么是熱key嗎线欲?熱key問題怎么解決李丰?

所謂熱key問題就是趴泌,突然有幾十萬的請求去訪問redis上的某個特定key嗜憔,那么這樣會造成流量過于集中,達到物理網卡上限夺鲜,從而導致這臺redis的服務器宕機引發(fā)雪崩币励。

image

針對熱key的解決方案:

  1. 提前把熱key打散到不同的服務器,降低壓力
  2. 加入二級緩存澎现,提前加載熱key數據到內存中剑辫,如果redis宕機揭斧,走內存查詢

什么是緩存擊穿讹开、緩存穿透旦万、緩存雪崩?

緩存擊穿

緩存擊穿的概念就是單個key并發(fā)訪問過高赏半,過期時導致所有請求直接打到db上断箫,這個和熱key的問題比較類似秋冰,只是說的點在于過期導致請求全部打到DB上而已埃撵。

解決方案:

  1. 加鎖更新虽另,比如請求查詢A捂刺,發(fā)現緩存中沒有,對A這個key加鎖芝发,同時去數據庫查詢數據辅鲸,寫入緩存独悴,再返回給用戶刻炒,這樣后面的請求就可以從緩存中拿到數據了坟奥。
  2. 將過期時間組合寫在value中,通過異步的方式不斷的刷新過期時間晒喷,防止此類現象凉敲。
image

https://tva

緩存穿透

緩存穿透是指查詢不存在緩存中的數據,每次請求都會打到DB蓝撇,就像緩存不存在一樣唉地。

image

針對這個問題耘沼,加一層布隆過濾器群嗤。布隆過濾器的原理是在你存入數據的時候,會通過散列函數將它映射為一個位數組中的K個點躯肌,同時把他們置為1清女。

這樣當用戶再次來查詢A嫡丙,而A在布隆過濾器值為0曙博,直接返回,就不會產生擊穿請求打到DB了般哼。

顯然浇坐,使用布隆過濾器之后會有一個問題就是誤判黔宛,因為它本身是一個數組,可能會有多個值落到同一個位置徽惋,那么理論上來說只要我們的數組長度夠長险绘,誤判的概率就會越低,這種問題就根據實際情況來就好了黔帕。

image

緩存雪崩

當某一時刻發(fā)生大規(guī)模的緩存失效的情況呐芥,比如你的緩存服務宕機了思瘟,會有大量的請求進來直接打到DB上滨攻,這樣可能導致整個系統(tǒng)的崩潰,稱為雪崩奇钞。雪崩和擊穿景埃、熱key的問題不太一樣的是谷徙,他是指大規(guī)模的緩存都過期失效了拒啰。

image

針對雪崩幾個解決方案:

  1. 針對不同key設置不同的過期時間,避免同時過期
  2. 限流完慧,如果redis宕機谋旦,可以限流,避免同時刻大量請求打崩DB
  3. 二級緩存屈尼,同熱key的方案册着。

Redis的過期策略有哪些?

redis主要有2種過期刪除策略

惰性刪除

惰性刪除指的是當我們查詢key的時候才對key進行檢測脾歧,如果已經達到過期時間兄纺,則刪除。顯然锨苏,他有一個缺點就是如果這些過期的key沒有被訪問葵诈,那么他就一直無法被刪除泞坦,而且一直占用內存。

image

定期刪除

定期刪除指的是redis每隔一段時間對數據庫做一次檢查锣险,刪除里面的過期key纷妆。由于不可能對所有key去做輪詢來刪除际邻,所以redis會每次隨機取一些key去做檢查和刪除轮听。

那么定期+惰性都沒有刪除過期的key怎么辦珊随?

假設redis每次定期隨機查詢key的時候沒有刪掉,這些key也沒有做查詢的話,就會導致這些key一直保存在redis里面無法被刪除,這時候就會走到redis的內存淘汰機制。

  1. volatile-lru:從已設置過期時間的key中贯莺,移出最近最少使用的key進行淘汰
  2. volatile-ttl:從已設置過期時間的key中爹耗,移出將要過期的key
  3. volatile-random:從已設置過期時間的key中隨機選擇key淘汰
  4. allkeys-lru:從key中選擇最近最少使用的進行淘汰
  5. allkeys-random:從key中隨機選擇key進行淘汰
  6. noeviction:當內存達到閾值的時候鞋邑,新寫入操作報錯

怎么實現Redis的高可用视译?

要想實現高可用椅亚,一臺機器肯定是不夠的,而redis要保證高可用颖对,有2個可選方案。

主從架構

主從模式是最簡單的實現高可用的方案,核心就是主從同步耕魄。主從同步的原理如下:

  1. slave發(fā)送sync命令到master
  2. master收到sync之后,執(zhí)行bgsave罚舱,生成RDB全量文件
  3. master把slave的寫命令記錄到緩存
  4. bgsave執(zhí)行完畢之后碧囊,發(fā)送RDB文件到slave,slave執(zhí)行
  5. master發(fā)送緩存中的寫命令到slave序臂,slave執(zhí)行
image

這里我寫的這個命令是sync审胸,但是在redis2.8版本之后已經使用psync來替代sync了静浴,原因是sync命令非常消耗系統(tǒng)資源掷邦,而psync的效率更高挟鸠。

哨兵

基于主從方案的缺點還是很明顯的亩冬,假設master宕機营袜,那么就不能寫入數據啸驯,那么slave也就失去了作用,整個架構就不可用了,除非你手動切換缴啡,主要原因就是因為沒有自動故障轉移機制歹茶。而哨兵(sentinel)的功能比單純的主從架構全面的多了,它具備自動故障轉移你弦、集群監(jiān)控惊豺、消息通知等功能。

image

哨兵可以同時監(jiān)視多個主從服務器禽作,并且在被監(jiān)視的master下線時尸昧,自動將某個slave提升為master,然后由新的master繼續(xù)接收命令旷偿。整個過程如下:

  1. 初始化sentinel烹俗,將普通的redis代碼替換成sentinel專用代碼
  2. 初始化masters字典和服務器信息,服務器信息主要保存ip:port萍程,并記錄實例的地址和ID
  3. 創(chuàng)建和master的兩個連接幢妄,命令連接和訂閱連接,并且訂閱sentinel:hello頻道
  4. 每隔10秒向master發(fā)送info命令茫负,獲取master和它下面所有slave的當前信息
  5. 當發(fā)現master有新的slave之后蕉鸳,sentinel和新的slave同樣建立兩個連接,同時每個10秒發(fā)送info命令忍法,更新master信息
  6. sentinel每隔1秒向所有服務器發(fā)送ping命令潮尝,如果某臺服務器在配置的響應時間內連續(xù)返回無效回復,將會被標記為下線狀態(tài)
  7. 選舉出領頭sentinel饿序,領頭sentinel需要半數以上的sentinel同意
  8. 領頭sentinel從已下線的的master所有slave中挑選一個勉失,將其轉換為master
  9. 讓所有的slave改為從新的master復制數據
  10. 將原來的master設置為新的master的從服務器,當原來master重新回復連接時原探,就變成了新master的從服務器

sentinel會每隔1秒向所有實例(包括主從服務器和其他sentinel)發(fā)送ping命令乱凿,并且根據回復判斷是否已經下線顽素,這種方式叫做主觀下線。當判斷為主觀下線時徒蟆,就會向其他監(jiān)視的sentinel詢問戈抄,如果超過半數的投票認為已經是下線狀態(tài),則會標記為客觀下線狀態(tài)后专,同時觸發(fā)故障轉移划鸽。

能說說redis集群的原理嗎?

如果說依靠哨兵可以實現redis的高可用戚哎,如果還想在支持高并發(fā)同時容納海量的數據裸诽,那就需要redis集群。redis集群是redis提供的分布式數據存儲方案型凳,集群通過數據分片sharding來進行數據的共享丈冬,同時提供復制和故障轉移的功能。

節(jié)點

一個redis集群由多個節(jié)點node組成甘畅,而多個node之間通過cluster meet命令來進行連接埂蕊,節(jié)點的握手過程:

  1. 節(jié)點A收到客戶端的cluster meet命令
  2. A根據收到的IP地址和端口號,向B發(fā)送一條meet消息
  3. 節(jié)點B收到meet消息返回pong
  4. A知道B收到了meet消息疏唾,返回一條ping消息蓄氧,握手成功
  5. 最后,節(jié)點A將會通過gossip協議把節(jié)點B的信息傳播給集群中的其他節(jié)點槐脏,其他節(jié)點也將和B進行握手
image

槽slot

redis通過集群分片的形式來保存數據喉童,整個集群數據庫被分為16384個slot,集群中的每個節(jié)點可以處理0-16384個slot顿天,當數據庫16384個slot都有節(jié)點在處理時堂氯,集群處于上線狀態(tài),反之只要有一個slot沒有得到處理都會處理下線狀態(tài)牌废。通過cluster addslots命令可以將slot指派給對應節(jié)點處理咽白。

slot是一個位數組,數組的長度是16384/8=2048鸟缕,而數組的每一位用1表示被節(jié)點處理晶框,0表示不處理,如圖所示的話表示A節(jié)點處理0-7的slot叁扫。

image

當客戶端向節(jié)點發(fā)送命令三妈,如果剛好找到slot屬于當前節(jié)點畜埋,那么節(jié)點就執(zhí)行命令莫绣,反之,則會返回一個MOVED命令到客戶端指引客戶端轉向正確的節(jié)點悠鞍。(MOVED過程是自動的)

image

如果增加或者移出節(jié)點对室,對于slot的重新分配也是非常方便的模燥,redis提供了工具幫助實現slot的遷移,整個過程是完全在線的掩宜,不需要停止服務蔫骂。

故障轉移

如果節(jié)點A向節(jié)點B發(fā)送ping消息,節(jié)點B沒有在規(guī)定的時間內響應pong牺汤,那么節(jié)點A會標記節(jié)點B為pfail疑似下線狀態(tài)辽旋,同時把B的狀態(tài)通過消息的形式發(fā)送給其他節(jié)點,如果超過半數以上的節(jié)點都標記B為pfail狀態(tài)檐迟,B就會被標記為fail下線狀態(tài)补胚,此時將會發(fā)生故障轉移,優(yōu)先從復制數據較多的從節(jié)點選擇一個成為主節(jié)點追迟,并且接管下線節(jié)點的slot溶其,整個過程和哨兵非常類似,都是基于Raft協議做選舉敦间。

了解Redis事務機制嗎瓶逃?

redis通過MULTI、EXEC廓块、WATCH等命令來實現事務機制厢绝,事務執(zhí)行過程將一系列多個命令按照順序一次性執(zhí)行,并且在執(zhí)行期間带猴,事務不會被中斷代芜,也不會去執(zhí)行客戶端的其他請求,直到所有命令執(zhí)行完畢浓利。事務的執(zhí)行過程如下:

  1. 服務端收到客戶端請求挤庇,事務以MULTI開始
  2. 如果客戶端正處于事務狀態(tài),則會把事務放入隊列同時返回給客戶端QUEUED贷掖,反之則直接執(zhí)行這個命令
  3. 當收到客戶端EXEC命令時嫡秕,WATCH命令監(jiān)視整個事務中的key是否有被修改,如果有則返回空回復到客戶端表示失敗苹威,否則redis會遍歷整個事務隊列昆咽,執(zhí)行隊列中保存的所有命令,最后返回結果給客戶端

WATCH的機制本身是一個CAS的機制牙甫,被監(jiān)視的key會被保存到一個鏈表中掷酗,如果某個key被修改,那么REDIS_DIRTY_CAS標志將會被打開窟哺,這時服務器會拒絕執(zhí)行事務泻轰。

參考:http://www.reibang.com/p/2a17957cefe7

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市且轨,隨后出現的幾起案子浮声,更是在濱河造成了極大的恐慌虚婿,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,204評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件泳挥,死亡現場離奇詭異然痊,居然都是意外死亡,警方通過查閱死者的電腦和手機屉符,發(fā)現死者居然都...
    沈念sama閱讀 93,091評論 3 395
  • 文/潘曉璐 我一進店門剧浸,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人矗钟,你說我怎么就攤上這事辛蚊。” “怎么了真仲?”我有些...
    開封第一講書人閱讀 164,548評論 0 354
  • 文/不壞的土叔 我叫張陵袋马,是天一觀的道長。 經常有香客問我秸应,道長虑凛,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,657評論 1 293
  • 正文 為了忘掉前任软啼,我火速辦了婚禮桑谍,結果婚禮上,老公的妹妹穿的比我還像新娘祸挪。我一直安慰自己锣披,他們只是感情好,可當我...
    茶點故事閱讀 67,689評論 6 392
  • 文/花漫 我一把揭開白布贿条。 她就那樣靜靜地躺著雹仿,像睡著了一般。 火紅的嫁衣襯著肌膚如雪整以。 梳的紋絲不亂的頭發(fā)上胧辽,一...
    開封第一講書人閱讀 51,554評論 1 305
  • 那天,我揣著相機與錄音公黑,去河邊找鬼邑商。 笑死,一個胖子當著我的面吹牛凡蚜,可吹牛的內容都是我干的人断。 我是一名探鬼主播,決...
    沈念sama閱讀 40,302評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼朝蜘,長吁一口氣:“原來是場噩夢啊……” “哼恶迈!你這毒婦竟也來了?” 一聲冷哼從身側響起芹务,我...
    開封第一講書人閱讀 39,216評論 0 276
  • 序言:老撾萬榮一對情侶失蹤蝉绷,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后枣抱,有當地人在樹林里發(fā)現了一具尸體熔吗,經...
    沈念sama閱讀 45,661評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,851評論 3 336
  • 正文 我和宋清朗相戀三年佳晶,在試婚紗的時候發(fā)現自己被綠了桅狠。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,977評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡轿秧,死狀恐怖中跌,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情菇篡,我是刑警寧澤漩符,帶...
    沈念sama閱讀 35,697評論 5 347
  • 正文 年R本政府宣布,位于F島的核電站驱还,受9級特大地震影響嗜暴,放射性物質發(fā)生泄漏。R本人自食惡果不足惜议蟆,卻給世界環(huán)境...
    茶點故事閱讀 41,306評論 3 330
  • 文/蒙蒙 一闷沥、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧咐容,春花似錦舆逃、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,898評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至蔚约,卻和暖如春览祖,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背炊琉。 一陣腳步聲響...
    開封第一講書人閱讀 33,019評論 1 270
  • 我被黑心中介騙來泰國打工展蒂, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人苔咪。 一個月前我還...
    沈念sama閱讀 48,138評論 3 370
  • 正文 我出身青樓锰悼,卻偏偏與公主長得像,于是被迫代替她去往敵國和親团赏。 傳聞我的和親對象是個殘疾皇子箕般,可洞房花燭夜當晚...
    茶點故事閱讀 44,927評論 2 355

推薦閱讀更多精彩內容