引言
其實(shí)熱key問(wèn)題說(shuō)來(lái)也很簡(jiǎn)單耳高，就是瞬間有幾十萬(wàn)的請(qǐng)求去訪問(wèn)redis上某個(gè)固定的key，從而壓垮緩存服務(wù)的情情況所踊。
其實(shí)生活中也是有不少這樣的例子泌枪。比如XX明星結(jié)婚。那么關(guān)于XX明星的Key就會(huì)瞬間增大污筷，就會(huì)出現(xiàn)熱數(shù)據(jù)問(wèn)題工闺。
ps:hot key和big key問(wèn)題，大家一定要有所了解瓣蛀。
本文預(yù)計(jì)分為如下幾個(gè)部分
熱key問(wèn)題
如何發(fā)現(xiàn)
業(yè)內(nèi)方案
正文
熱Key問(wèn)題
上面提到陆蟆，所謂熱key問(wèn)題就是，突然有幾十萬(wàn)的請(qǐng)求去訪問(wèn)redis上的某個(gè)特定key惋增。那么叠殷，這樣會(huì)造成流量過(guò)于集中，達(dá)到物理網(wǎng)卡上限诈皿，從而導(dǎo)致這臺(tái)redis的服務(wù)器宕機(jī)林束。
那接下來(lái)這個(gè)key的請(qǐng)求，就會(huì)直接懟到你的數(shù)據(jù)庫(kù)上稽亏，導(dǎo)致你的服務(wù)不可用壶冒。
怎么發(fā)現(xiàn)熱key
方法一:憑借業(yè)務(wù)經(jīng)驗(yàn)，進(jìn)行預(yù)估哪些是熱key
其實(shí)這個(gè)方法還是挺有可行性的截歉。比如某商品在做秒殺胖腾，那這個(gè)商品的key就可以判斷出是熱key。缺點(diǎn)很明顯，并非所有業(yè)務(wù)都能預(yù)估出哪些key是熱key咸作。
方法二:在客戶端進(jìn)行收集
這個(gè)方式就是在操作redis之前锨阿，加入一行代碼進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。那么這個(gè)數(shù)據(jù)統(tǒng)計(jì)的方式有很多種记罚，也可以是給外部的通訊系統(tǒng)發(fā)送一個(gè)通知信息墅诡。缺點(diǎn)就是對(duì)客戶端代碼造成入侵。
方法三:在Proxy層做收集
有些集群架構(gòu)是下面這樣的桐智，Proxy可以是Twemproxy末早，是統(tǒng)一的入口∷低ィ可以在Proxy層做收集上報(bào)荐吉，但是缺點(diǎn)很明顯，并非所有的redis集群架構(gòu)都有proxy口渔。
方法四:用redis自帶命令
(1)monitor命令样屠，該命令可以實(shí)時(shí)抓取出redis服務(wù)器接收到的命令，然后寫代碼統(tǒng)計(jì)出熱key是啥缺脉。當(dāng)然痪欲，也有現(xiàn)成的分析工具可以給你使用，比如redis-faina攻礼。但是該命令在高并發(fā)的條件下砰诵，有內(nèi)存增暴增的隱患箩绍，還會(huì)降低redis的性能猖任。
(2)hotkeys參數(shù)补履，redis 4.0.3提供了redis-cli的熱點(diǎn)key發(fā)現(xiàn)功能，執(zhí)行redis-cli時(shí)加上–hotkeys選項(xiàng)即可太伊。但是該參數(shù)在執(zhí)行的時(shí)候雇锡，如果key比較多，執(zhí)行起來(lái)比較慢僚焦。
方法五:自己抓包評(píng)估
Redis客戶端使用TCP協(xié)議與服務(wù)端進(jìn)行交互锰提，通信協(xié)議采用的是RESP。自己寫程序監(jiān)聽(tīng)端口芳悲，按照RESP協(xié)議規(guī)則解析數(shù)據(jù)立肘，進(jìn)行分析。缺點(diǎn)就是開(kāi)發(fā)成本高名扛，維護(hù)困難谅年，有丟包可能性。
以上五種方案肮韧，各有優(yōu)缺點(diǎn)融蹂。根據(jù)自己業(yè)務(wù)場(chǎng)景進(jìn)行抉擇即可文黎。那么發(fā)現(xiàn)熱key后，如何解決呢殿较？
如何解決
目前業(yè)內(nèi)的方案有兩種
(1)利用二級(jí)緩存
比如利用ehcache，或者一個(gè)HashMap都可以桩蓉。在你發(fā)現(xiàn)熱key以后淋纲，把熱key加載到系統(tǒng)的JVM中。
針對(duì)這種熱key請(qǐng)求院究，會(huì)直接從jvm中取洽瞬，而不會(huì)走到redis層。
假設(shè)此時(shí)有十萬(wàn)個(gè)針對(duì)同一個(gè)key的請(qǐng)求過(guò)來(lái),如果沒(méi)有本地緩存业汰，這十萬(wàn)個(gè)請(qǐng)求就直接懟到同一臺(tái)redis上了伙窃。
現(xiàn)在假設(shè)，你的應(yīng)用層有50臺(tái)機(jī)器样漆，OK为障，你也有jvm緩存了。這十萬(wàn)個(gè)請(qǐng)求平均分散開(kāi)來(lái)放祟，每個(gè)機(jī)器有2000個(gè)請(qǐng)求鳍怨，會(huì)從JVM中取到value值，然后返回?cái)?shù)據(jù)跪妥。避免了十萬(wàn)個(gè)請(qǐng)求懟到同一臺(tái)redis上的情形鞋喇。
(2)備份熱key
這個(gè)方案也很簡(jiǎn)單。不要讓key走到同一臺(tái)redis上不就行了眉撵。我們把這個(gè)key侦香，在多個(gè)redis上都存一份不就好了。接下來(lái)纽疟，有熱key請(qǐng)求進(jìn)來(lái)的時(shí)候罐韩，我們就在有備份的redis上隨機(jī)選取一臺(tái)，進(jìn)行訪問(wèn)取值污朽，返回?cái)?shù)據(jù)伴逸。
假設(shè)redis的集群數(shù)量為N，步驟如下圖所示
注:不一定是2N膘壶，你想取3N错蝴，4N都可以，看要求颓芭。
偽代碼如下
const M = N * 2
//生成隨機(jī)數(shù)
random = GenRandom(0, M)
//構(gòu)造備份新key
bakHotKey = hotKey + “_” + random
data = redis.GET(bakHotKey)
if data == NULL {
data = GetFromDB()
redis.SET(bakHotKey, expireTime + GenRandom(0,5))
}
業(yè)內(nèi)方案
OK顷锰，其實(shí)看完上面的內(nèi)容，大家可能會(huì)有一個(gè)疑問(wèn)亡问。
有辦法在項(xiàng)目運(yùn)行過(guò)程中官紫，自動(dòng)發(fā)現(xiàn)熱key肛宋，然后程序自動(dòng)處理么？
嗯束世，好問(wèn)題酝陈，那我們來(lái)講講業(yè)內(nèi)怎么做的。其實(shí)只有兩步
(1)監(jiān)控?zé)醟ey
(2)通知系統(tǒng)做處理
(1)監(jiān)控?zé)醟ey
在監(jiān)控?zé)醟ey方面毁涉，有贊用的是方式二：在客戶端進(jìn)行收集沉帮。
在《有贊透明多級(jí)緩存解決方案（TMC）》中有一句話提到
TMC 對(duì)原生jedis包的JedisPool和Jedis類做了改造，在JedisPool初始化過(guò)程中集成TMC“熱點(diǎn)發(fā)現(xiàn)”+“本地緩存”功能Hermes-SDK包的初始化邏輯贫堰。
也就說(shuō)人家改寫了jedis原生的jar包穆壕，加入了Hermes-SDK包。
那Hermes-SDK包用來(lái)干嘛其屏？
OK喇勋，就是做熱點(diǎn)發(fā)現(xiàn)和本地緩存。
從監(jiān)控的角度看偎行，該包對(duì)于Jedis-Client的每次key值訪問(wèn)請(qǐng)求川背，Hermes-SDK 都會(huì)通過(guò)其通信模塊將key訪問(wèn)事件異步上報(bào)給Hermes服務(wù)端集群，以便其根據(jù)上報(bào)數(shù)據(jù)進(jìn)行“熱點(diǎn)探測(cè)”蛤袒。
當(dāng)然渗常，這只是其中一種方式，有的公司在監(jiān)控方面用的是方式五:自己抓包評(píng)估
具體是這么做的汗盘，先利用flink搭建一套流式計(jì)算系統(tǒng)皱碘。然后自己寫一個(gè)抓包程序抓redis監(jiān)聽(tīng)端口的數(shù)據(jù)，抓到數(shù)據(jù)后往kafka里丟隐孽。
接下來(lái)癌椿，流式計(jì)算系統(tǒng)消費(fèi)kafka里的數(shù)據(jù)，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)即可菱阵，也能達(dá)到監(jiān)控?zé)醟ey的目的踢俄。
(2)通知系統(tǒng)做處理
在這個(gè)角度，有贊用的是上面的解決方案一:利用二級(jí)緩存進(jìn)行處理晴及。
有贊在監(jiān)控到熱key后都办，Hermes服務(wù)端集群會(huì)通過(guò)各種手段通知各業(yè)務(wù)系統(tǒng)里的Hermes-SDK，告訴他們:"老弟虑稼，這個(gè)key是熱key琳钉，記得做本地緩存。"
于是Hermes-SDK就會(huì)將該key緩存在本地蛛倦，對(duì)于后面的請(qǐng)求歌懒。Hermes-SDK發(fā)現(xiàn)這個(gè)是一個(gè)熱key，直接從本地中拿溯壶，而不會(huì)去訪問(wèn)集群及皂。
除了這種通知方式以外甫男。我們也可以這么做，比如你的流式計(jì)算系統(tǒng)監(jiān)控到熱key了验烧，往zookeeper里頭的某個(gè)節(jié)點(diǎn)里寫板驳。然后你的業(yè)務(wù)系統(tǒng)監(jiān)聽(tīng)該節(jié)點(diǎn)，發(fā)現(xiàn)節(jié)點(diǎn)數(shù)據(jù)變化了碍拆，就代表發(fā)現(xiàn)熱key若治。最后往本地緩存里寫，也是可以的倔监。
通知方式各種各樣，大家可以自由發(fā)揮菌仁。本文只是提供一個(gè)思路浩习。
總結(jié)
希望通過(guò)本文，大家明白如何處理生產(chǎn)上遇到的熱key問(wèn)題济丘。看完的朋友記得點(diǎn)贊噢谱秽！想學(xué)習(xí)更多的Java技術(shù)方面的知識(shí)的朋友們，可以進(jìn)我的Java高級(jí)架構(gòu)師交流群摹迷，里面有高可用疟赊、高并發(fā)、高性能及分布式峡碉、Jvm性能調(diào)優(yōu)近哟、Spring源碼，MyBatis鲫寄，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個(gè)知識(shí)點(diǎn)的架構(gòu)資料吉执，群號(hào)：680075317，也可以進(jìn)群一起交流地来，比如遇到技術(shù)瓶頸戳玫、面試不過(guò)的，大家一些交流學(xué)習(xí)未斑！
