關于Redis熱點key的一些思考
昨天在和一個已經跳槽的同事聊天時，詢問他這段時間面試時碰到的一些問題翩伪。自己也想積累一下這方面的知識。其中他說了在面試某贊公司時面試官問他關于熱點Key的的解決方案占锯。于是針對這次談話以及上網(wǎng)查的一些資料后的思考進行一下總結今艺。方便后續(xù)自己查閱。
什么是熱點Key
其實對于熱點Key僻孝，網(wǎng)上一查一大堆导帝，這里我就引用網(wǎng)上的一段話。
從基于用戶消費的數(shù)據(jù)遠遠大于生產的數(shù)據(jù)的角度來講穿铆，我們平常使用的知乎等軟件時您单，大多數(shù)人平常僅僅只是瀏覽，并不會去提問問題荞雏、發(fā)表的文章虐秦，偶爾會發(fā)表自己的文章或者看法平酿，這就是一個典型的讀多寫少的情景，當然此類情景不太容易導致熱點的產生悦陋。
在日常工作生活中一些突發(fā)的的事件染服，諸如：“雙11”期間某些熱門商品的降價促銷，當這其中的某一件商品被數(shù)萬次點擊叨恨、購買時柳刮，會形成一個較大的需求量，這種情況下就會產生一個單一的Key痒钝，這樣就會引起一個熱點秉颗；同理，當被大量刊發(fā)送矩、瀏覽的熱點新聞蚕甥，熱點評論等也會產生熱點；另外栋荸，在服務端讀數(shù)據(jù)進行訪問時菇怀，往往會對數(shù)據(jù)進行分片切分，此類過程中會在某一主機Server上對相應的Key進行訪問晌块，當訪問超過主機Server極限時爱沟，就會導致熱點Key問題的產生。
如何解決匆背？
針對于熱點Key的解決方案網(wǎng)上的查找出來無非就是兩種
- 服務端緩存：即將熱點數(shù)據(jù)緩存至服務端的內存中
- 備份熱點Key：即將熱點Key+隨機數(shù)呼伸，隨機分配至Redis其他節(jié)點中。這樣訪問熱點key的時候就不會全部命中到一臺機器上了钝尸。
其實這兩個解決方案前提都是知道了熱點Key是什么的情況括享，那么如何找到熱點key呢？
熱點檢測
- 憑借經驗珍促，進行預估：例如提前知道了某個活動的開啟铃辖，那么就將此Key作為熱點Key
- 客戶端收集：在操作Redis之前對數(shù)據(jù)進行統(tǒng)計
- 抓包進行評估：Redis使用TCP協(xié)議與客戶端進行通信，通信協(xié)議采用的是RESP猪叙，所以能進行攔截包進行解析
- 在proxy層娇斩，對每一個 redis 請求進行收集上報
- Redis自帶命令查詢：Redis4.0.4版本提供了
redis-cli –hotkeys就能找出熱點Key
如果要用Redis自帶命令查詢時，要注意需要先把內存逐出策略設置為allkeys-lfu或者volatile-lfu沐悦，否則會返回錯誤成洗。進入Redis中使用
config set maxmemory-policy allkeys-lfu即可。
服務端緩存
假設我們已經統(tǒng)計出了一些熱點Key藏否，將這些數(shù)據(jù)緩存到了服務端，那么還有一個問題充包。就是如何保證Redis和服務端熱點Key的數(shù)據(jù)一致性副签。我這里想到的解決方案是利用Redis自帶的消息通知機制遥椿，對于熱點Key客戶端建立一個監(jiān)聽，當熱點Key有更新操作的時候淆储，客戶端也隨之更新冠场。
主要代碼如下，監(jiān)聽類負責接收到Redis的事件本砰，然后篩選出熱點Key進行相應的動作
public class KeyExpiredEventMessageListener implements MessageListener {
@Autowired
private RedisTemplate redisTemplate;
@Override
public void onMessage(Message message, byte[] pattern) {
String key = new String(message.getChannel());
key = key.substring(key.indexOf(":")+1);
String action = new String(message.getBody());
if (HotKey.containKey(key)){
String value = redisTemplate.opsForValue().get(key)+"";
switch (action){
case "set":
log.info("熱點Key:{} 修改",key);
HotKeyAction.UPDATE.action(key,value);
break;
case "expired":
log.info("熱點Key:{} 到期刪除",key);
HotKeyAction.REMOVE.action(key,null);
break;
case "del":
log.info("熱點Key:{} 刪除",key);
HotKeyAction.REMOVE.action(key,null);
break;
}
}
}
}
建立一個存儲熱點Key的數(shù)據(jù)結構ConcurrentHashMap碴裙，并設置相應的操作方法，這里設置了假數(shù)據(jù)点额，在static代碼塊中直接設置了兩個熱點Key
public class HotKey {
private static Map<String,String> hotKeyMap = new ConcurrentHashMap<>();
private static List<String> hotKeyList = new CopyOnWriteArrayList<>();
static {
setHotKey("hu1","1");
setHotKey("hu2","2");
}
public static void setHotKey(String key,String value){
hotKeyMap.put(key,value);
hotKeyList.add(key);
}
public static void updateHotKey(String key,String value){
hotKeyMap.put(key,value);
}
public static String getHotValue(String key){
return hotKeyMap.get(key);
}
public static void removeHotKey(String key){
hotKeyMap.remove(key);
}
public static boolean containKey(String key){
return hotKeyList.contains(key);
}
}
其實用Redis的事件通知機制挺不好的舔株，因為只要開啟了事件通知，那么每個Key的變化都會發(fā)消息还棱，這樣也會平白無故的加重Redis服務器的負擔载慈。當然我只是簡單的演示一下，除了這種通知方案以外還有很多種方法慎皱。
備份熱點Key
這個方案說起來其實也很簡單楼雹，就是不要讓key走到一臺機器上就行凌蔬，但是我們知道在Redis集群中包含了16384個哈希槽(Hash slot)，集群使用公式CRC16(key) % 16384來計算Key屬于哪個槽寡具。那么同一個Key計算出來的值應該都是一樣的，如何將Key分到其他機器上呢稚补？只要再后面加上隨機數(shù)就行了晒杈，這樣就能保證同一個Key分布在不同機器上，在訪問的時候通過Key+隨機數(shù)的方式進行訪問孔厉。
偽代碼如下
const M = N * 2
//生成隨機數(shù)
random = GenRandom(0, M)
//構造備份新key
bakHotKey = hotKey + “_” + random
data = redis.GET(bakHotKey)
if data == NULL {
//從數(shù)據(jù)庫中取數(shù)據(jù)
data = GetFromDB()
//存放在Redis中拯钻，以便下次能取到
redis.SET(bakHotKey, expireTime + GenRandom(0,5))
}
