什么是本地?zé)狳c(diǎn)緩存缸濒？
在高并發(fā)場景中捉邢，為了提高讀取速度康震，降低對DB層（mysql或者redis）壓力蛛芥，往往需要進(jìn)行JVM本地緩存提鸟。但是對于數(shù)據(jù)量非常大的情況下時（例如上百萬的商品），業(yè)務(wù)側(cè)無挑剔的全部進(jìn)行緩存（結(jié)合失效策略）仅淑，可能導(dǎo)致緩存過多的數(shù)據(jù)称勋，造成內(nèi)存的浪費(fèi)。而如果設(shè)置緩存數(shù)量大小進(jìn)行限制漓糙，緩存的頻繁失效導(dǎo)致效果不佳铣缠。而京東的hotkey就是為了解決這個問題。
看下架構(gòu)
1.png
- 比較簡單昆禽，就不對架構(gòu)圖進(jìn)行解釋了蝗蛙。直接看看核心點(diǎn)。
要點(diǎn)
- 客戶端如何收集key的醉鳖？
應(yīng)用側(cè)通過集成sdk捡硅，使用sdk的JdHotKeyStore.getValue。
image.png - 服務(wù)端是如何計算熱點(diǎn)key的盗棵？
首先server通過netty接收消息壮韭，使用NodesServerHandler來處理消息北发。該處理器主要是通過 一組INettyMsgFilter過濾器完成。
AppNameFilter喷屋，用于保存客戶端應(yīng)用對應(yīng)的通信channel
HeartBeatFilter琳拨，用于響應(yīng)心跳
HotKeyFilter，用于進(jìn)行熱點(diǎn)key探測屯曹。這里重點(diǎn)介紹下該Filter狱庇。 -
HotKeyFilter 如何工作？
過濾器通過生產(chǎn)者消費(fèi)者模式恶耽，通過生產(chǎn)者將消息發(fā)送阻塞隊里密任。然后多線程消費(fèi)者進(jìn)行消費(fèi)。
image.png - 在消費(fèi)的時候就是在進(jìn)行統(tǒng)計偷俭，那么是如何統(tǒng)計key的訪問次數(shù)的呢浪讳？
采用的是滑動窗口實(shí)現(xiàn)，這也是流控的常用算法涌萤。這里簡單做下說明：
首先server中將每個key創(chuàng)建滑動窗口對象淹遵，整體數(shù)據(jù)結(jié)構(gòu)如下：
Map<appName, Cache<key, SlidingWindow>>
class SlidingWindow {
/**
* 循環(huán)隊列，就是裝多個窗口用形葬，該數(shù)量是windowSize的2倍
*/
private AtomicInteger[] timeSlices;
/**
* 隊列的總長度
*/
private int timeSliceSize;
/**
* 每個時間片的時長合呐，以毫秒為單位
*/
private int timeMillisPerSlice;
/**
* 共有多少個時間片（即窗口長度）
*/
private int windowSize;
/**
* 在一個完整窗口期內(nèi)允許通過的最大閾值
*/
private int threshold;
/**
* 該滑窗的起始創(chuàng)建時間，也就是第一個數(shù)據(jù)
*/
private long beginTimestamp;
/**
* 最后一個數(shù)據(jù)的時間戳
*/
private long lastAddTimestamp;
}
- 滑動算法是如何工作的笙以？
通過簡單舉例來說明淌实， 現(xiàn)在假設(shè)我們需要在檢測出一個key在5s內(nèi)訪問是否超過100。將windowSize設(shè)置為5猖腕， 每個時間片是1000ms拆祈，一共設(shè)置10個時間片（為啥？）
如下圖倘感，計算當(dāng)前時間的時間片放坏。
image.png
對當(dāng)前時間片進(jìn)行+1操作，假設(shè)當(dāng)前時間片為7老玛，那么有效的時間片為 7 6 5 4 3淤年，其他時間片需要進(jìn)行清零。通過計算7 6 5 4 3時間片得到總數(shù)蜡豹。 - 上個問題中麸粮，時間片設(shè)置為windowSize的2倍是否合理？
我們考慮每個時間點(diǎn)只會使用一個時間片镜廉，其實(shí)只要設(shè)置為windowSize+1即可弄诲， 這樣每次只需要清理一個時間片。
后來和小伙伴們討論了下發(fā)現(xiàn)還是得用2倍窗口娇唯，原因就不說了齐遵，給大家點(diǎn)思考空間 - 最后回顧下整體流程
- NodesServerHandler使用AppNameFilter保存應(yīng)用對應(yīng)的channel信息
- 使用HotKeyFilter將消息發(fā)送隊列寂玲，使用消費(fèi)者進(jìn)行計算
- 計算時使用滑動窗口計算，對應(yīng)超過閾值的key梗摇，使用已經(jīng)保存的channel進(jìn)行消息的發(fā)送
- 客戶端收到消息便在本地進(jìn)行緩存拓哟。
- 簡單分析，如有不足留美，請指正彰檬，謝謝
