緩存是分布式系統(tǒng)中的重要組件，主要解決高并發(fā)，大數(shù)據(jù)場景下痢畜，熱點數(shù)據(jù)訪問的性能問題蛔溃。提供高性能的數(shù)據(jù)快速訪問诈茧。

一、緩存概述

緩存是分布式系統(tǒng)中的重要組件，主要解決高并發(fā)，大數(shù)據(jù)場景下蚁飒，熱點數(shù)據(jù)訪問的性能問題。提供高性能的數(shù)據(jù)快速訪問萝喘。

1.1緩存的原理

（1）?????? 將數(shù)據(jù)寫入/讀取速度更快的存儲（設(shè)備）淮逻；

（2）?????? 將數(shù)據(jù)緩存到離應(yīng)用最近的位置；

（3）?????? 將數(shù)據(jù)緩存到離用戶最近的位置阁簸。

1.2緩存分類

在分布式系統(tǒng)中爬早，緩存的應(yīng)用非常廣泛，從部署角度有以下幾個方面的緩存應(yīng)用强窖。

（1）?????? CDN緩存凸椿；

（2）?????? 反向代理緩存；

（3）?????? 分布式Cache翅溺；

（4）?????? 本地應(yīng)用緩存；

1.3緩存媒介

常用中間件：Varnish髓抑，Ngnix咙崎，Squid，Memcache吨拍，Redis褪猛，Ehcache等；

緩存的內(nèi)容：文件羹饰，數(shù)據(jù)伊滋，對象；

緩存的介質(zhì)：CPU队秩，內(nèi)存（本地笑旺，分布式），磁盤（本地馍资，分布式）

1.3緩存設(shè)計

緩存設(shè)計需要解決以下幾個問題：

（1）?????? 緩存什么筒主？

哪些數(shù)據(jù)需要緩存：1.熱點數(shù)據(jù)；2.靜態(tài)資源；

（2）?????? 緩存的位置乌妙？

CDN使兔，反向代理，分布式緩存服務(wù)器藤韵，本機（內(nèi)存虐沥，硬盤）

（3）?????? 如何緩存的問題？

過期策略

1.固定時間：比如指定緩存的時間是30分鐘泽艘；

2.相對時間：比如最近10分鐘內(nèi)沒有訪問的數(shù)據(jù)置蜀；

同步機制

實時寫入；（推）

異步刷新悉盆；（推拉）

二盯荤、CDN緩存

CDN主要解決將數(shù)據(jù)緩存到離用戶最近的位置，一般緩存靜態(tài)資源文件（頁面焕盟，腳本秋秤，圖片，視頻脚翘，文件等）灼卢。國內(nèi)網(wǎng)絡(luò)異常復(fù)雜，跨運營商的網(wǎng)絡(luò)訪問會很慢来农。為了解決跨運營商或各地用戶訪問問題鞋真，可以在重要的城市，部署CDN應(yīng)用沃于。使用戶就近獲取所需內(nèi)容涩咖，降低網(wǎng)絡(luò)擁塞，提高用戶訪問響應(yīng)速度和命中率繁莹。

2.1CND原理

CDN的基本原理是廣泛采用各種緩存服務(wù)器檩互，將這些緩存服務(wù)器分布到用戶訪問相對集中的地區(qū)或網(wǎng)絡(luò)中，在用戶訪問網(wǎng)站時咨演，利用全局負載技術(shù)將用戶的訪問指向距離最近的工作正常的緩存服務(wù)器上闸昨，由緩存服務(wù)器直接響應(yīng)用戶請求。

（1）?????? 未部署CDN應(yīng)用前

網(wǎng)絡(luò)請求路徑：

請求：本機網(wǎng)絡(luò)（局域網(wǎng)）——》運營商網(wǎng)絡(luò)——》應(yīng)用服務(wù)器機房

響應(yīng)：應(yīng)用服務(wù)器機房——》運營商網(wǎng)絡(luò)——》本機網(wǎng)絡(luò)（局域網(wǎng)）

在不考慮復(fù)雜網(wǎng)絡(luò)的情況下薄风，從請求到響應(yīng)需要經(jīng)過3個節(jié)點饵较，6個步驟完成一次用戶訪問操作。

（2）?????? 部署CDN應(yīng)用后

網(wǎng)絡(luò)路徑：

請求：本機網(wǎng)絡(luò)（局域網(wǎng)）——》運營商網(wǎng)絡(luò)

響應(yīng)：運營商網(wǎng)絡(luò)——》本機網(wǎng)絡(luò)（局域網(wǎng)）

在不考慮復(fù)雜網(wǎng)絡(luò)的情況下遭赂，從請求到響應(yīng)需要經(jīng)過2個節(jié)點循诉，2個步驟完成一次用戶訪問操作。

與不部署CDN服務(wù)相比嵌牺，減少了1個節(jié)點打洼，4個步驟的訪問龄糊。極大的提高的系統(tǒng)的響應(yīng)速度。

2.2 CDN優(yōu)缺點

（1）優(yōu)點（摘自百度百科）

1募疮、本地Cache加速：提升訪問速度炫惩，尤其含有大量圖片和靜態(tài)頁面站點；

2阿浓、鏡像服務(wù)：消除了不同運營商之間互聯(lián)的瓶頸造成的影響他嚷，實現(xiàn)了跨運營商的網(wǎng)絡(luò)加速，保證不同網(wǎng)絡(luò)中的用戶都能得到良好的訪問質(zhì)量芭毙；

3筋蓖、遠程加速：遠程訪問用戶根據(jù)DNS負載均衡技術(shù)智能自動選擇Cache服務(wù)器，選擇最快的Cache服務(wù)器退敦，加快遠程訪問的速度粘咖；

4、帶寬優(yōu)化：自動生成服務(wù)器的遠程Mirror（鏡像）cache服務(wù)器侈百，遠程用戶訪問時從cache服務(wù)器上讀取數(shù)據(jù)瓮下，減少遠程訪問的帶寬、分擔網(wǎng)絡(luò)流量钝域、減輕原站點WEB服務(wù)器負載等功能讽坏。

5、集群抗攻擊：廣泛分布的CDN節(jié)點加上節(jié)點之間的智能冗余機制例证，可以有效地預(yù)防黑客入侵以及降低各種D.D.o.S攻擊對網(wǎng)站的影響路呜，同時保證較好的服務(wù)質(zhì)量。

（2）缺點

1.動態(tài)資源緩存织咧，需要注意實時性胀葱；

解決：主要緩存靜態(tài)資源，動態(tài)資源建立多級緩存或準實時同步烦感；

2.如何保證數(shù)據(jù)的一致性和實時性需要權(quán)衡考慮巡社；

解決：

設(shè)置緩存失效時間（1個小時，最終一致性）手趣；

數(shù)據(jù)版本號；

2.3CND架構(gòu)參考

摘自《云宙視頻CDN系統(tǒng)》

2.4 CND技術(shù)實踐

???????? 目前肥荔，中小型互聯(lián)網(wǎng)公司绿渣，綜合成本考慮，一般租用第三方CDN服務(wù)燕耿，大型互聯(lián)網(wǎng)公司中符，采用自建或第三方結(jié)合的方式。比如淘寶剛開始使用第三方的誉帅，當流量很大后淀散，第三方公司無法支撐其CDN流量右莱，淘寶最后采用自建CDN的方式實現(xiàn)。

淘寶CDN档插，如下圖（來自網(wǎng)絡(luò)）：

三慢蜓、反向代理緩存

反向代理是指在網(wǎng)站服務(wù)器機房部署代理服務(wù)器，實現(xiàn)負載均衡郭膛，數(shù)據(jù)緩存晨抡，安全控制等功能。

3.1緩存原理

反向代理位于應(yīng)用服務(wù)器機房则剃，處理所有對WEB服務(wù)器的請求耘柱。如果用戶請求的頁面在代理服務(wù)器上有緩沖的話，代理服務(wù)器直接將緩沖內(nèi)容發(fā)送給用戶棍现。如果沒有緩沖則先向WEB服務(wù)器發(fā)出請求调煎，取回數(shù)據(jù)，本地緩存后再發(fā)送給用戶己肮。通過降低向WEB服務(wù)器的請求數(shù)士袄，從而降低了WEB服務(wù)器的負載。

???????? 反向代理一般緩存靜態(tài)資源朴肺，動態(tài)資源轉(zhuǎn)發(fā)到應(yīng)用服務(wù)器處理窖剑。常用的緩存應(yīng)用服務(wù)器有Varnish，Ngnix戈稿，Squid西土。

3.2 Squid示例

Squid 反向代理一般只緩存靜態(tài)資源，動態(tài)程序默認不緩存鞍盗。根據(jù)從 WEB 服務(wù)器返回的 HTTP 頭標記來緩沖靜態(tài)頁面需了。有四個最重要 HTTP 頭標記：

Last-Modified: 告訴反向代理頁面什么時間被修改

Expires: 告訴反向代理頁面什么時間應(yīng)該從緩沖區(qū)中刪除

Cache-Control: 告訴反向代理頁面是否應(yīng)該被緩沖

Pragma: 用來包含實現(xiàn)特定的指令，最常用的是 Pragma:no-cache

Squid 反向代理加速網(wǎng)站實例

（1）?????? 通過DNS的輪詢技術(shù)般甲，將客戶端的請求分發(fā)給其中一臺 Squid 反向代理服務(wù)器處理肋乍；

（2）?????? 如果這臺 Squid 緩存了用戶的請求資源，則將請求的資源直接返回給用戶敷存；

（3）?????? 否則這臺 Squid 將沒有緩存的請求根據(jù)配置的規(guī)則發(fā)送給鄰居 Squid 和后臺的 WEB 服務(wù)器處理墓造；

（4）?????? 這樣既減輕后臺 WEB 服務(wù)器的負載，又提高整個網(wǎng)站的性能和安全性锚烦。

3.2 代理緩存比較

常用的代理緩存有Varnish觅闽，Squid，Ngnix涮俄，簡單比較如下：

（1）?????? varnish和squid是專業(yè)的cache服務(wù)蛉拙，nginx需要第三方模塊支持；

（2）?????? Varnish采用內(nèi)存型緩存彻亲，避免了頻繁在內(nèi)存孕锄、磁盤中交換文件吮廉，性能比Squid高；

（3）?????? Varnish由于是內(nèi)存cache畸肆，所以對小文件如css,js,小圖片啥的支持很棒宦芦，后端的持久化緩存可以采用的是Squid或ATS；

（4）?????? Squid功能全而大恼除，適合于各種靜態(tài)的文件緩存踪旷，一般會在前端掛一個HAProxy或nginx做負載均衡跑多個實例；

（5）?????? Nginx采用第三方模塊ncache做的緩沖豁辉，性能基本達到varnish令野，一般作為反向代理使用，可以實現(xiàn)簡單的緩存徽级。

在此我向大家推薦一個架構(gòu)學(xué)習(xí)交流群气破。交流學(xué)習(xí)群號：575745314 ? 里面會分享一些資深架構(gòu)師錄制的視頻錄像：有Spring，MyBatis餐抢，Netty源碼分析现使，高并發(fā)、高性能旷痕、分布式碳锈、微服務(wù)架構(gòu)的原理，JVM性能優(yōu)化欺抗、分布式架構(gòu)等這些成為架構(gòu)師必備的知識體系售碳。還能領(lǐng)取免費的學(xué)習(xí)資源，目前受益良多

四绞呈、分布式緩存

CDN,反向代理緩存贸人，主要解決靜態(tài)文件，或用戶請求資源的緩存佃声，數(shù)據(jù)源一般為靜態(tài)文件或動態(tài)生成的文件（有緩存頭標識）艺智。

分布式緩存，主要指緩存用戶經(jīng)常訪問數(shù)據(jù)的緩存圾亏，數(shù)據(jù)源為數(shù)據(jù)庫十拣。一般起到熱點數(shù)據(jù)訪問和減輕數(shù)據(jù)庫壓力的作用。

目前分布式緩存設(shè)計志鹃，在大型網(wǎng)站架構(gòu)中是必備的架構(gòu)要素父晶。常用的中間件有Memcache，Redis弄跌。

4.1Memcache

Memcache是一個高性能，分布式內(nèi)存對象緩存系統(tǒng)尝苇，通過在內(nèi)存里維護一個統(tǒng)一的巨大的hash表铛只，它能夠用來存儲各種格式的數(shù)據(jù)埠胖，包括圖像、視頻淳玩、文件以及數(shù)據(jù)庫檢索的結(jié)果等直撤。簡單的說就是將數(shù)據(jù)調(diào)用到內(nèi)存中，然后從內(nèi)存中讀取蜕着，從而大大提高讀取速度谋竖。

Memcache特性：

（1）使用物理內(nèi)存作為緩存區(qū)，可獨立運行在服務(wù)器上承匣。每個進程最大2G蓖乘，如果想緩存更多的數(shù)據(jù)，可以開辟更多的memcache進程（不同端口）或者使用分布式memcache進行緩存韧骗，將數(shù)據(jù)緩存到不同的物理機或者虛擬機上嘉抒。

（2）使用key-value的方式來存儲數(shù)據(jù)，這是一種單索引的結(jié)構(gòu)化數(shù)據(jù)組織形式袍暴，可使數(shù)據(jù)項查詢時間復(fù)雜度為O(1)些侍。

（3）協(xié)議簡單：基于文本行的協(xié)議，直接通過telnet在memcached服務(wù)器上可進行存取數(shù)據(jù)操作政模，簡單岗宣，方便多種緩存參考此協(xié)議；

（4）基于libevent高性能通信：Libevent是一套利用C開發(fā)的程序庫淋样，它將BSD系統(tǒng)的kqueue,Linux系統(tǒng)的epoll等事件處理功能封裝成一個接口耗式，與傳統(tǒng)的select相比，提高了性能习蓬。

（5）內(nèi)置的內(nèi)存管理方式：所有數(shù)據(jù)都保存在內(nèi)存中纽什，存取數(shù)據(jù)比硬盤快，當內(nèi)存滿后躲叼，通過LRU算法自動刪除不使用的緩存芦缰，但沒有考慮數(shù)據(jù)的容災(zāi)問題，重啟服務(wù)枫慷，所有數(shù)據(jù)會丟失让蕾。

（6）分布式：各個memcached服務(wù)器之間互不通信，各自獨立存取數(shù)據(jù)或听，不共享任何信息探孝。服務(wù)器并不具有分布式功能，分布式部署取決于memcache客戶端誉裆。

（7）緩存策略：Memcached的緩存策略是LRU（最近最少使用）到期失效策略顿颅。在memcached內(nèi)存儲數(shù)據(jù)項時，可以指定它在緩存的失效時間足丢，默認為永久粱腻。當memcached服務(wù)器用完分配的內(nèi)時庇配，失效的數(shù)據(jù)被首先替換，然后也是最近未使用的數(shù)據(jù)绍些。在LRU中捞慌，memcached使用的是一種Lazy Expiration策略，自己不會監(jiān)控存入的key/vlue對是否過期柬批，而是在獲取key值時查看記錄的時間戳啸澡，檢查key/value對空間是否過期，這樣可減輕服務(wù)器的負載氮帐。

4.1.1Memcache工作原理

MemCache的工作流程如下：

（1）????????????? 先檢查客戶端的請求數(shù)據(jù)是否在memcached中嗅虏，如有，直接把請求數(shù)據(jù)返回揪漩，不再對數(shù)據(jù)庫進行任何操作旋恼；

（2）????????????? 如果請求的數(shù)據(jù)不在memcached中，就去查數(shù)據(jù)庫奄容，把從數(shù)據(jù)庫中獲取的數(shù)據(jù)返回給客戶端冰更，同時把數(shù)據(jù)緩存一份到memcached中（memcached客戶端不負責，需要程序?qū)崿F(xiàn)）昂勒；

（3）????????????? 每次更新數(shù)據(jù)庫的同時更新memcached中的數(shù)據(jù)蜀细，保證一致性；

（4）????????????? 當分配給memcached內(nèi)存空間用完之后戈盈，會使用LRU（Least Recently Used奠衔，最近最少使用）策略加上到期失效策略，失效數(shù)據(jù)首先被替換塘娶，然后再替換掉最近未使用的數(shù)據(jù)归斤。

4.1.2Memcache集群

memcached 雖然稱為 “ 分布式 ” 緩存服務(wù)器，但服務(wù)器端并沒有 “ 分布式 ” 功能刁岸。每個服務(wù)器都是完全獨立和隔離的服務(wù)脏里。 memcached 的分布式，是由客戶端程序?qū)崿F(xiàn)的虹曙。

當向memcached集群存入/取出key value時迫横，memcached客戶端程序根據(jù)一定的算法計算存入哪臺服務(wù)器，然后再把key value值存到此服務(wù)器中酝碳。

存取數(shù)據(jù)分二步走矾踱，第一步，選擇服務(wù)器疏哗，第二步存取數(shù)據(jù)呛讲。

分布式算法(Consistent Hashing)：

選擇服務(wù)器算法有兩種，一種是根據(jù)余數(shù)來計算分布，另一種是根據(jù)散列算法來計算分布圣蝎。

余數(shù)算法：

先求得鍵的整數(shù)散列值刃宵，再除以服務(wù)器臺數(shù)，根據(jù)余數(shù)確定存取服務(wù)器徘公。

優(yōu)點：計算簡單，高效哮针；

缺點：在memcached服務(wù)器增加或減少時关面，幾乎所有的緩存都會失效。

散列算法：（一致性Hash）

先算出memcached服務(wù)器的散列值十厢，并將其分布到0到2的32次方的圓上等太，然后用同樣的方法算出存儲數(shù)據(jù)的鍵的散列值并映射至圓上，最后從數(shù)據(jù)映射到的位置開始順時針查找蛮放，將數(shù)據(jù)保存到查找到的第一個服務(wù)器上缩抡，如果超過2的32次方，依然找不到服務(wù)器包颁，就將數(shù)據(jù)保存到第一臺memcached服務(wù)器上瞻想。

如果添加了一臺memcached服務(wù)器，只在圓上增加服務(wù)器的逆時針方向的第一臺服務(wù)器上的鍵會受到影響娩嚼。

一致性Hash算法：解決了余數(shù)算法增加節(jié)點命中大幅額度降低的問題蘑险，理論上，插入一個實體節(jié)點岳悟，平均會影響到：虛擬節(jié)點數(shù) /2 的節(jié)點數(shù)據(jù)的命中佃迄。

4.2Redis

Redis 是一個開源（BSD許可）的，基于內(nèi)存的贵少，多數(shù)據(jù)結(jié)構(gòu)存儲系統(tǒng)呵俏。可以用作數(shù)據(jù)庫滔灶、緩存和消息中間件普碎。 支持多種類型的數(shù)據(jù)結(jié)構(gòu)，如 字符串（strings）宽气， 散列（hashes）随常， 列表（lists）， 集合（sets）萄涯， 有序集合（sorted sets） 與范圍查詢绪氛， bitmaps， hyperloglogs 和 地理空間（geospatial） 索引半徑查詢涝影。

內(nèi)置了 復(fù)制（replication）枣察，LUA腳本（Lua scripting）， LRU驅(qū)動事件（LRU eviction），事務(wù)（transactions） 和不同級別的 磁盤持久化（persistence）序目， 并通過 Redis哨兵（Sentinel）和自動分區(qū)（Cluster）提供高可用性（high availability）臂痕。

4.2.1Redis常用數(shù)據(jù)類型

1、String

　　常用命令：set,get,decr,incr,mget 猿涨。

　　應(yīng)用場景：String是最常用的一種數(shù)據(jù)類型握童，與Memcache的key value存儲方式類似。

　　實現(xiàn)方式：String在redis內(nèi)部存儲默認就是一個字符串叛赚，被redisObject所引用澡绩，當遇到incr,decr等操作時會轉(zhuǎn)成數(shù)值型進行計算，此時redisObject的encoding字段為int俺附。

2肥卡、Hash

　　常用命令：hget,hset,hgetall 。

　　應(yīng)用場景：以存儲一個用戶信息對象數(shù)據(jù)事镣，為例：

　　實現(xiàn)方式：

　 Redis Hash對應(yīng)的Value步鉴，內(nèi)部實際就是一個HashMap，實際這里會有2種不同實現(xiàn)璃哟。

（1）?????? Hash的成員比較少時Redis為了節(jié)省內(nèi)存會采用類似一維數(shù) 組的方式來緊湊存儲氛琢，而不會采用真正的HashMap結(jié)構(gòu)，對應(yīng)的value redisObject的encoding為zipmap沮稚；

（2）?????? 當成員數(shù)量增大時會自動轉(zhuǎn)成真正的HashMap,此時encoding為ht艺沼。

　　3、List

　　常用命令：lpush,rpush,lpop,rpop,lrange蕴掏。

　　應(yīng)用場景：

　　Redis list的應(yīng)用場景非常多障般，也是Redis最重要的數(shù)據(jù)結(jié)構(gòu)之一，比如twitter的關(guān)注列表盛杰，粉絲列表等都可以用Redis的list結(jié)構(gòu)來實現(xiàn)挽荡。

　　實現(xiàn)方式：

　　Redis list的實現(xiàn)為一個雙向鏈表，可以支持反向查找和遍歷即供，方便操作定拟。不過帶來了部分額外的內(nèi)存開銷，Redis內(nèi)部的很多實現(xiàn)逗嫡，包括發(fā)送緩沖隊列等也都是用的這個數(shù)據(jù)結(jié)構(gòu)青自。

　　4、Set

　　常用命令：sadd,spop,smembers,sunion驱证。

　　應(yīng)用場景：

　 　Redis set對外提供的功能與list類似是一個列表的功能延窜，特殊之處在于set是可以自動排重的，當你需要存儲一個列表數(shù)據(jù)抹锄，又不希望出現(xiàn)重復(fù)數(shù)據(jù)時逆瑞，set 是一個很好的選擇荠藤，并且set提供了判斷某個成員是否在一個set集合內(nèi)的重要接口，這個也是list所不能提供的获高。

　　實現(xiàn)方式：

　　set 的內(nèi)部實現(xiàn)是一個 value永遠為null的HashMap哈肖，實際就是通過計算hash的方式來快速排重的，這也是set能提供判斷一個成員是否在集合內(nèi)的原因念秧。

　　5淤井、Sorted set

　　常用命令：zadd,zrange,zrem,zcard；

　　使用場景：

　 　Redis sorted set的使用場景與set類似出爹，區(qū)別是set不是自動有序的庄吼，而sorted set可以通過用戶額外提供一個優(yōu)先級(score)的參數(shù)來為成員排序，并且是插入有序的严就，即自動排序。當你需要一個有序的并且不重復(fù)的集合列表器罐，可以選擇sorted set數(shù)據(jù)結(jié)構(gòu)梢为，比如twitter 的public timeline可以以發(fā)表時間作為score來存儲，這樣獲取時就是自動按時間排好序的轰坊。

　　實現(xiàn)方式：

　　Redis sorted set的內(nèi)部使用HashMap和跳躍表(SkipList)來保證數(shù)據(jù)的存儲和有序铸董，HashMap里放的是成員到score的映射，而跳躍表里存放的 是所有的成員肴沫，排序依據(jù)是HashMap里存的score,使用跳躍表的結(jié)構(gòu)可以獲得比較高的查找效率粟害，并且在實現(xiàn)上比較簡單。

4.2.2Redis集群

（1）通過keepalived實現(xiàn)的高可用方案

切換流程：

1. 當Master掛了后颤芬，VIP漂移到Slave悲幅；Slave 上keepalived 通知redis 執(zhí)行：slaveof no one ,開始提供業(yè)務(wù)

2. 當Master起來后，VIP 地址不變站蝠，Master的keepalived 通知redis 執(zhí)行slaveof slave IP host 汰具，開始作為從同步數(shù)據(jù)

3. 依次類推

主從同時Down機情況：

1. 非計劃性，不做考慮菱魔，一般也不會存在這種問題

2.、計劃性重啟，重啟之前通過運維手段SAVE DUMP 主庫數(shù)據(jù)偎蘸；需要注意順序：

1. 關(guān)閉其中一臺機器上所有redis篡殷，是得master全部切到另外一臺機器（多實例部署，單機上既有主又有從的情況）藻治；并關(guān)閉機器

2. 依次dump主上redis服務(wù)

3. 關(guān)閉主

4. 啟動主碘勉，并等待數(shù)據(jù)load完畢

5. 啟動從?

6.刪除DUMP 文件（避免重啟加載慢）

（2）使用Twemproxy 實現(xiàn)集群方案

由twitter開源的c版本proxy，同時支持memcached和redis栋艳，目前最新版本為：0.2.4恰聘，持續(xù)開發(fā)中;https://github.com/twitter/twemproxy .twitter用它主要減少前端與緩存服務(wù)間網(wǎng)絡(luò)連接數(shù)。

特點：快、輕量級晴叨、減少后端Cache Server連接數(shù)凿宾、易配置、支持ketama兼蕊、modula初厚、random、常用hash 分片算法孙技。

這里使用keepalived實現(xiàn)高可用主備方案产禾，解決proxy單點問題；

優(yōu)點：

1. 對于客戶端而言牵啦，redis集群是透明的亚情，客戶端簡單，遍于動態(tài)擴容

2. Proxy為單點哈雏、處理一致性hash時楞件，集群節(jié)點可用性檢測不存在腦裂問題

3. 高性能，CPU密集型裳瘪，而redis節(jié)點集群多CPU資源冗余土浸，可部署在redis節(jié)點集群上，不需要額外設(shè)備

4.3Memcache與Redis的比較

（1）數(shù)據(jù)結(jié)構(gòu)：Memcache只支持key value存儲方式彭羹，Redis支持更多的數(shù)據(jù)類型黄伊，比如Key value，hash派殷，list还最，set，zset愈腾；

（2）多線程：Memcache支持多線程憋活，redis支持單線程；CPU利用方面Memcache優(yōu)于redis虱黄；

（3）持久化：Memcache不支持持久化悦即，Redis支持持久化；

（4）內(nèi)存利用率：memcache高橱乱，redis低（采用壓縮的情況下比memcache高）辜梳；

（5）過期策略：memcache過期后，不刪除緩存泳叠，會導(dǎo)致下次取數(shù)據(jù)數(shù)據(jù)的問題作瞄，Redis有專門線程，清除緩存數(shù)據(jù)危纫；

五宗挥、本地緩存

本地緩存是指應(yīng)用內(nèi)部的緩存乌庶，標準的分布式系統(tǒng)，一般有多級緩存構(gòu)成契耿。本地緩存是離應(yīng)用最近的緩存瞒大，一般可以將數(shù)據(jù)緩存到硬盤或內(nèi)存。

3.1硬盤緩存

???????? 將數(shù)據(jù)緩存到硬盤到搪桂，讀取時從硬盤讀取透敌。原理是直接讀取本機文件，減少了網(wǎng)絡(luò)傳輸消耗踢械，比通過網(wǎng)絡(luò)讀取數(shù)據(jù)庫速度更快酗电。可以應(yīng)用在對速度要求不是很高内列，但需要大量緩存存儲的場景撵术。

3.2 內(nèi)存緩存

直接將數(shù)據(jù)存儲到本機內(nèi)存中，通過程序直接維護緩存對象话瞧，是訪問速度最快的方式荷荤。

六、緩存架構(gòu)示例

職責劃分：

CDN：存放HTML,CSS,JS等靜態(tài)資源移稳；

反向代理：動靜分離，只緩存用戶請求的靜態(tài)資源会油；

分布式緩存：緩存數(shù)據(jù)庫中的熱點數(shù)據(jù)个粱；

本地緩存：緩存應(yīng)用字典等常用數(shù)據(jù)；

請求過程：

（1）?????? 瀏覽器向客戶端發(fā)起請求翻翩，如果CDN有緩存則直接返回都许；

（2）?????? 如果CDN無緩存，則訪問反向代理服務(wù)器嫂冻；

（3）?????? 如果反向代理服務(wù)器有緩存則直接返回胶征；

（4）?????? 如果反向代理服務(wù)器無緩存或動態(tài)請求，則訪問應(yīng)用服務(wù)器桨仿；

（5）?????? 應(yīng)用服務(wù)器訪問本地緩存睛低；如果有緩存，則返回代理服務(wù)器服傍，并緩存數(shù)據(jù)钱雷；（動態(tài)請求不緩存）

（6）?????? 如果本地緩存無數(shù)據(jù)，則讀取分布式緩存吹零；并返回應(yīng)用服務(wù)器罩抗；應(yīng)用服務(wù)器將數(shù)據(jù)緩存到本地緩存（部分）；

（7）?????? 如果分布式緩存無數(shù)據(jù)灿椅，則應(yīng)用程序讀取數(shù)據(jù)庫數(shù)據(jù)套蒂，并放入分布式緩存钞支；

在此我向大家推薦一個架構(gòu)學(xué)習(xí)交流群。交流學(xué)習(xí)群號：575745314 ?里面會分享一些資深架構(gòu)師錄制的視頻錄像：有Spring操刀，MyBatis烁挟，Netty源碼分析，高并發(fā)馍刮、高性能信夫、分布式、微服務(wù)架構(gòu)的原理卡啰，JVM性能優(yōu)化静稻、分布式架構(gòu)等這些成為架構(gòu)師必備的知識體系。還能領(lǐng)取免費的學(xué)習(xí)資源匈辱，目前受益良多

七振湾、數(shù)據(jù)一致性

緩存是在數(shù)據(jù)持久化之前的一個節(jié)點，主要是將熱點數(shù)據(jù)放到離用戶最近或訪問速度更快的介質(zhì)中亡脸，加快數(shù)據(jù)的訪問押搪，減小響應(yīng)時間。

因為緩存屬于持久化數(shù)據(jù)的一個副本浅碾，因此不可避免的會出現(xiàn)數(shù)據(jù)不一致問題大州。導(dǎo)致臟讀或讀不到數(shù)據(jù)的情況。數(shù)據(jù)不一致垂谢，一般是因為網(wǎng)絡(luò)不穩(wěn)定或節(jié)點故障導(dǎo)致厦画。根據(jù)數(shù)據(jù)的操作順序，主要有以下幾種情況滥朱。

2.1場景介紹

（1）先寫緩存根暑，再寫數(shù)據(jù)庫

???????? 如下圖：

假如緩存寫成功，但寫數(shù)據(jù)庫失敗或響應(yīng)延遲徙邻，則下次讀扰畔印（并發(fā)讀）緩存時，就出現(xiàn)臟讀缰犁；

（2）先寫數(shù)據(jù)庫淳地，再寫緩存

???????? 如下圖：

???????? 假如寫數(shù)據(jù)庫成功，但寫緩存失敗民鼓，則下次讀绒敝ァ（并發(fā)讀）緩存時，則讀不到數(shù)據(jù)丰嘉；

（3）緩存異步刷新

???????? 指數(shù)據(jù)庫操作和寫緩存不在一個操作步驟中夯到，比如在分布式場景下，無法做到同時寫緩存或需要異步刷新（補救措施）時候饮亏。

???????? 此種情況耍贾，主要考慮數(shù)據(jù)寫入和緩存刷新的時效性阅爽。比如多久內(nèi)刷新緩存，不影響用戶對數(shù)據(jù)的訪問荐开。

2.2解決方法

第一個場景：

這個寫緩存的方式付翁，本身就是錯誤的，需要改為先寫持久化介質(zhì)晃听，再寫緩存的方式百侧。

第二個場景：

（1）根據(jù)寫入緩存的響應(yīng)來進行判斷，如果緩存寫入失敗能扒，則回滾數(shù)據(jù)庫操作佣渴；此種方法增加了程序的復(fù)雜度，不建議采用初斑；

（2）緩存使用時辛润，假如讀緩存失敗，先讀數(shù)據(jù)庫见秤，再回寫緩存的方式實現(xiàn)砂竖。

第三個場景：

（1）首先確定，哪些數(shù)據(jù)適合此類場景鹃答；

（2）根據(jù)經(jīng)驗值確定合理的數(shù)據(jù)不一致時間乎澄，用戶數(shù)據(jù)刷新的時間間隔；

2.3 其他方法

（1）超時：設(shè)置合理的超時時間测摔；

（2）刷新：定時刷新一定范圍內(nèi)（根據(jù)時間三圆，版本號）的數(shù)據(jù)；

???????? 以上是簡化數(shù)據(jù)讀寫場景避咆，實際中會分為：

???????? （1）緩存與數(shù)據(jù)庫之間的一致性；

???????? （2）多級緩存之前的一致性修噪；

???????? （3）緩存副本之前的一致性查库。

八、緩存高可用

業(yè)界有兩種理論黄琼，第一套緩存就是緩存樊销，臨時存儲數(shù)據(jù)的，不需要高可用脏款。第二種緩存逐步演化為重要的存儲介質(zhì)围苫，需要做高可用。

本人的看法是撤师，緩存是否高可用剂府，需要根據(jù)實際的場景而定。臨界點是是否對后端的數(shù)據(jù)庫造成影響剃盾。

具體的決策依據(jù)需要根據(jù)腺占，集群的規(guī)模（數(shù)據(jù)淤袜，緩存），成本（服務(wù)器衰伯，運維）铡羡，系統(tǒng)性能（并發(fā)量，吞吐量意鲸，響應(yīng)時間）等方面綜合評價烦周。

3.1解決方法

???????? 緩存的高可用，一般通過分布式和復(fù)制實現(xiàn)怎顾。分布式實現(xiàn)數(shù)據(jù)的海量緩存读慎，復(fù)制實現(xiàn)緩存數(shù)據(jù)節(jié)點的高可用。架構(gòu)圖如下：

???????? 其中杆勇，分布式采用一致性Hash算法贪壳，復(fù)制采用異步復(fù)制。

3.2其他方法

（1）復(fù)制雙寫：緩存節(jié)點的復(fù)制蚜退，由異步改為雙寫闰靴，只有兩份都寫成功，才算成功钻注。

（2）虛擬層：一致性Hash存在蚂且，假如其中一個HASH環(huán)不可用，數(shù)據(jù)會寫入臨近的環(huán)幅恋，當HASH可用時杏死，數(shù)據(jù)又寫入正常的HASH環(huán)，會導(dǎo)致數(shù)據(jù)偏移問題捆交。這種情況淑翼，可以考慮在HASH環(huán)前面加一個虛擬層實現(xiàn)。

（3）多級緩存：比如一級使用本地緩存品追，二級采用分布式Cahce玄括，三級采用分布式Cache+本地持久化；

???????? 方式很多肉瓦，需要根據(jù)業(yè)務(wù)場景靈活選擇遭京。

九、緩存雪崩

???????? 雪崩是指當大量緩存失效時泞莉，導(dǎo)致大量的請求訪問數(shù)據(jù)庫哪雕，導(dǎo)致數(shù)據(jù)庫服務(wù)器，無法抗住請求或掛掉的情況鲫趁。

???????? 解決方法：

???????? （1）合理規(guī)劃緩存的失效時間斯嚎；

???????? （2）合理評估數(shù)據(jù)庫的負載壓力；

???????? （3）對數(shù)據(jù)庫進行過載保護或應(yīng)用層限流；

???????? （4）多級緩存設(shè)計孝扛，緩存高可用列吼；

十、緩存穿透

???????? 緩存一般是Key苦始，value方式存在寞钥，當某一個Key不存在時會查詢數(shù)據(jù)庫，假如這個Key陌选，一直不存在理郑，則會頻繁的請求數(shù)據(jù)庫，對數(shù)據(jù)庫造成訪問壓力咨油。

解決方法：

（1）對結(jié)果為空的數(shù)據(jù)也進行緩存您炉，當此key有數(shù)據(jù)后，清理緩存役电；

（2）一定不存在的key赚爵，采用布隆過濾器，建立一個大的Bitmap中法瑟，查詢時通過該bitmap過濾冀膝；