背景
前不久兔沃，因?yàn)楣緲I(yè)務(wù)需要蒋得，需要解決在大促場(chǎng)景下后端業(yè)務(wù)的熱點(diǎn)緩存問(wèn)題，所以研究了下緩存熱點(diǎn)解決方案乒疏。
很多公司的緩存都是基于redis來(lái)做的额衙，redis的性能其實(shí)已經(jīng)足以能應(yīng)付大部分的場(chǎng)景，但是對(duì)于大促期間或者活動(dòng)搶購(gòu)期間的某個(gè)爆品怕吴，可能會(huì)出現(xiàn)在幾秒時(shí)間內(nèi)流入大量的流量窍侧，由于某個(gè)爆品的數(shù)據(jù)在redis cluster場(chǎng)景下會(huì)按照hash規(guī)則被存放在某個(gè)redis分片上，那么這幾秒的流量都會(huì)壓到這個(gè)redis分片转绷，從而在瞬間會(huì)導(dǎo)致這個(gè)redis分片的癱瘓伟件，也會(huì)影響后續(xù)的redis請(qǐng)求的阻塞。
還有個(gè)場(chǎng)景议经，就是公司并不是所有的服務(wù)端邏輯都有緩存斧账。在流量起來(lái)的時(shí)候，這些熱key還是會(huì)壓到數(shù)據(jù)庫(kù)層面爸业。導(dǎo)致壓力其骄。
解決方案
一般常見(jiàn)的解決方案就是增加二級(jí)緩存，對(duì)于熱點(diǎn)數(shù)據(jù)寫(xiě)到j(luò)vm里一份扯旷。設(shè)置過(guò)期時(shí)間拯爽。但是什么時(shí)候設(shè)置，熱點(diǎn)如何探測(cè)钧忽，規(guī)則如何設(shè)置毯炮，過(guò)期時(shí)間設(shè)置多少。甚至于如何快速落地耸黑，這都是需要研究的問(wèn)題桃煎。
我們希望有一個(gè)統(tǒng)一的方案來(lái)解決這些問(wèn)題。
我們發(fā)現(xiàn)了Hotkey這款開(kāi)源框架大刊。
Hotkey源于京東为迈，hotkey能自動(dòng)地對(duì)任意突發(fā)性的無(wú)法預(yù)知的熱點(diǎn)數(shù)據(jù)，按照配置的規(guī)則進(jìn)行毫秒級(jí)別的探測(cè)，探測(cè)到的熱數(shù)據(jù)會(huì)推送到所有的服務(wù)端JVM中葫辐，大幅減輕對(duì)后端數(shù)據(jù)層的沖擊搜锰。這些熱數(shù)據(jù)在整個(gè)微服務(wù)集群會(huì)保持一致性，當(dāng)熱點(diǎn)消失的時(shí)候耿战，自動(dòng)從jvm中進(jìn)行移除蛋叼。
Hotkey的特性能很好的實(shí)現(xiàn)我們的目標(biāo)。并且京東內(nèi)部也用Hotkey實(shí)戰(zhàn)了618大促剂陡，穩(wěn)定性有所保障狈涮。
Hotkey的架構(gòu)圖（以下圖引用自Hotkey在Gitee的主頁(yè)）
Hotkey整個(gè)架構(gòu)共分為以下幾個(gè)部分：
worker：負(fù)責(zé)采集上報(bào)信息，根據(jù)規(guī)則計(jì)算出熱點(diǎn)信息鸭栖，規(guī)則來(lái)自于etcd歌馍。熱點(diǎn)信息推送到client里
client： 每個(gè)client連接etcd，獲取每個(gè)worker的ip和端口纤泵，和worker保持長(zhǎng)鏈接骆姐，接受worker的熱點(diǎn)信息推送
etcd：分布式的協(xié)調(diào)者，接受每個(gè)worker的心跳上報(bào)捏题，并把worker的連接信息推送給client玻褪。監(jiān)聽(tīng)規(guī)則的改變，推送給worker
dashboard：ui界面公荧，查看實(shí)例以及worker的狀態(tài)带射，查看以及修改規(guī)則數(shù)據(jù)。規(guī)則存到mysql循狰，同時(shí)由etcd推送給worker
下面給出hotkey的項(xiàng)目地址
關(guān)于Hotkey的介紹和如何搭建窟社，大家可以看這篇文章來(lái)了解，這里就不多贅述绪钥。
碰到的問(wèn)題
我們?cè)诖罱╤otkey環(huán)境和落地實(shí)施中灿里，碰到2個(gè)問(wèn)題：
- Hotkey雖然開(kāi)源，但是相關(guān)client jar包并未上傳中央倉(cāng)庫(kù)程腹，dashboard和worker啟動(dòng)包也并未提供下載匣吊。需要下載源碼進(jìn)行編譯，編譯過(guò)程中也碰到一些包依賴(lài)的問(wèn)題寸潦。
- Hotkey的client jar只提供了api級(jí)別的方法供程序使用色鸳，如果要落地到業(yè)務(wù)項(xiàng)目中，需要大規(guī)模的修改代碼才能實(shí)施见转。
我們更希望提供一種侵入更少的方式命雀，在RPC以及接口的層面進(jìn)行代理包裝。使用者無(wú)論使用什么RPC框架斩箫，只是在相關(guān)接口上打上標(biāo)注吏砂，而無(wú)需動(dòng)業(yè)務(wù)的任何代碼撵儿。就可以在這個(gè)接口層面進(jìn)行檢測(cè)熱點(diǎn)。如果該接口的某個(gè)參數(shù)為熱點(diǎn)的話(huà)赊抖，就自動(dòng)進(jìn)行代理统倒，走jvm的熱點(diǎn)數(shù)據(jù)，等熱點(diǎn)消除后氛雪，依舊走原來(lái)的調(diào)用。
如果你覺(jué)得上述的描述過(guò)于難以理解的話(huà)耸成，那么直白點(diǎn)說(shuō)就是：
比如某個(gè)活動(dòng)大促期間有個(gè)商品S001進(jìn)行搶購(gòu)报亩，有大量的流量進(jìn)入了商品詳情頁(yè)面。這個(gè)商品詳情RPC方式調(diào)用了商品服務(wù)的以下接口方法獲取商品信息：
public interface ProductService{
SkuInfo getSkuInfo(String skuCode);
}
那么我們希望只在這個(gè)接口上打上標(biāo)注井氢。就可以適配Hotkey框架進(jìn)行探測(cè)熱點(diǎn)弦追，當(dāng)商品S001被大量請(qǐng)求時(shí)，S001這個(gè)商品就可以成為熱點(diǎn)花竞，這時(shí)getSkuInfo這個(gè)接口就會(huì)被自動(dòng)代理劲件，從而只從Jvm中獲取數(shù)據(jù)，而不會(huì)真正走RPC調(diào)用约急。等熱點(diǎn)消除后零远，這個(gè)接口依舊調(diào)用RPC獲取數(shù)據(jù)。
這樣的方式無(wú)疑侵入性更小厌蔽，更容易使Hotkey框架落地牵辣。
Hotlink客戶(hù)端
為此我們基于Hotkey client研發(fā)了Hotlink客戶(hù)端框架，該客戶(hù)端框架能讓Hotkey更完美的落地奴饮，增強(qiáng)了Hotkey客戶(hù)端的能力纬向。
Hotlink的項(xiàng)目地址：https://gitee.com/openbeast/hotlink
該客戶(hù)端框架有以下特點(diǎn)：
- 業(yè)務(wù)接入簡(jiǎn)單，只需要一個(gè)標(biāo)注戴卜，1分鐘就能使你的RPC接口接入熱點(diǎn)探測(cè)框架
- 啟動(dòng)時(shí)動(dòng)態(tài)掃描所有Hotlink標(biāo)注的接口逾条，創(chuàng)建動(dòng)態(tài)代理
- 基于動(dòng)態(tài)代理去對(duì)接口做增強(qiáng)，理論上只要有接口投剥，就支持任何RPC框架
- 本地方法只要有接口师脂，也能使用熱點(diǎn)探測(cè)
結(jié)合Hotkey的架構(gòu)圖，Hotlink在整個(gè)架構(gòu)圖中的位置如下圖：
Hotlink如何使用
第一步
按照Hotkey的部署要求薇缅，搭建好worker和dashboard危彩。具體方式請(qǐng)參照：
同時(shí)為了方便大家搭建，我把編譯好的worker和dashboard包也進(jìn)行了上傳
worker下載地址：
公網(wǎng)IP版本(適合調(diào)試用泳桦，本地能連上worker)：
https://gitee.com/openbeast/hotlink/attach_files/813746/download/worker-0.0.4-SNAPSHOT-public.jar
內(nèi)網(wǎng)IP版本：
https://gitee.com/openbeast/hotlink/attach_files/813747/download/worker-0.0.4-SNAPSHOT.jar
Dashboard:
https://gitee.com/openbeast/hotlink/attach_files/813749/download/dashboard-0.0.2-SNAPSHOT.jar
第二步
本地業(yè)務(wù)項(xiàng)目依賴(lài)jar包(此jar包并未上傳到中央倉(cāng)庫(kù)汤徽，需要大家自己deploy到自己公司的私庫(kù))
<dependency>
<groupId>com.thebeastshop</groupId>
<artifactId>hotlink-spring-boot-starter</artifactId>
<version>1.0.12</version>
</dependency>
hotlink需要的fastjson和groovy版本有點(diǎn)要求，如果你項(xiàng)目中的這2個(gè)包版本過(guò)低又同時(shí)覆蓋了hotlink的傳遞依賴(lài)包時(shí)灸撰，需要額外指定版本：
<fastjson.version>1.2.70</fastjson.version>
<guava.version>29.0-jre</guava.version>
第三步
本地springboot配置文件里加入?yún)?shù)
#此app-name不配置的話(huà)谒府，會(huì)優(yōu)先讀取spring.application.name屬性
hotlink.app-name=test
#etcd地址和端口
hotlink.etcd-url=http://xxx.xxx.xxx.xxx:2379
第四步
在你的接口里加入標(biāo)簽@Hotlink
在接口上加：接口里所有的方法都會(huì)自動(dòng)探測(cè)熱點(diǎn)
在方法上加：只有這個(gè)方法會(huì)自動(dòng)探測(cè)熱點(diǎn)
比如：
public interface ProductService{
@Hotlink
SkuInfo getSkuInfo(String skuCode);
}
那么當(dāng)某一個(gè)SKU001成為熱點(diǎn)時(shí)拼坎，那么傳入?yún)?shù)SKU001會(huì)自動(dòng)代理從JVM里取到數(shù)據(jù)，而SKU002則繼續(xù)走RPC調(diào)用完疫。
這樣就完成了所有的配置泰鸡。啟動(dòng)皆可。
使用Hotlink需要注意的事項(xiàng)
由于Hotlink的實(shí)現(xiàn)是用動(dòng)態(tài)代理來(lái)實(shí)現(xiàn)壳鹤，只要滿(mǎn)足這兩個(gè)條件盛龄，即可在啟動(dòng)時(shí)會(huì)掃描器掃到：
- 接口層面上標(biāo)注
@Hotlink - 相關(guān)實(shí)現(xiàn)會(huì)被注入Spring上下文中
在標(biāo)注接口的時(shí)候，盡量標(biāo)注在一定時(shí)間范圍內(nèi)是冪等的接口芳誓。比如會(huì)員查詢(xún)余舶，sku信息查詢(xún)，相關(guān)活動(dòng)信息的查詢(xún)锹淌，這些信息在一定時(shí)間范圍內(nèi)不會(huì)頻繁變動(dòng)匿值，那么就適合做熱點(diǎn)探測(cè)。
非冪等性的接口赂摆，即便是相同參數(shù)挟憔，每次返回也會(huì)不一樣。那就不建議做熱點(diǎn)探測(cè)烟号。比如下單绊谭，庫(kù)存的查詢(xún)，余額的查詢(xún)褥符。這樣的接口如果一旦被升級(jí)成熱點(diǎn)龙誊。那會(huì)影響業(yè)務(wù)界面的正確性和后續(xù)邏輯的判斷錯(cuò)誤。
