雙十一來臨荧呐，大家應(yīng)該要對所有索引都做做健康檢查了，由于最近壓力上不去痢虹，所以盯上了Query Cache，由于之前Query Cache沒有怎么注意主儡，一直用的是默認(rèn)配置世分，所以導(dǎo)致我發(fā)現(xiàn)cache的效率一直沒上去。如下圖缀辩，初步一看命中率50%+， Memory size 也沒傷到預(yù)訂大小踪央，這里先不逐個字段解釋臀玄，下面就以問答的形式來介紹一下這個query cache。
什么是Query Cache
簡單來看可以這樣理解畅蹂，一個ES的查詢會先被parse 成一系列的Lucene 的phrase健无，這些phrases 中的filter語句，如果對于查詢條件是一樣的時候液斜，其實結(jié)果集是已定的累贤，那么這些phrase 其實就是可以存放在一個地方當(dāng)做cache用叠穆，這個就是 query cache。在ES里臼膏，這個是Node級別的配置硼被，必須通過 yml配置里面去配置。
Query Cache 如何配置size 大小
如上圖所示渗磅，如果默認(rèn)的話嚷硫，ES將會用10%的HEAP大小來存所有的Query Cache，這個配置必須通過yml文件來調(diào)整始鱼，但是從文章開頭的截圖可以出仔掸，我30G的HEAP最后只是使用了800MB的cache，為什么并不是配置的10%也就是3G呢医清？那就要看另外一個限制的配置
Query Cache配置最大個數(shù)
從截圖中可以發(fā)現(xiàn)一個非常醒目的整數(shù)起暮，這個就是另外一個限制條件，最大個數(shù)会烙，這個同樣是Node級別的负懦，Query level，默認(rèn)就是10000持搜，就是說密似，不管size 有沒有達(dá)到，數(shù)據(jù)到了10000葫盼，query cache也不會再增加了残腌。
可以通過
indices.queries.cache.count=10000
的方式在yml配置
但是又有人會問，為什么我配置了10000贫导，但是我還是會發(fā)現(xiàn)有超過10000的情況抛猫？比如：10123這樣；
那就要看看下一個問題
Query Cache 的數(shù)據(jù)結(jié)構(gòu)是怎么存的
簡單來說ES的內(nèi)部數(shù)據(jù)結(jié)構(gòu)就是一個MAP孩灯，key就是一個具體的query闺金，而value就是一個segment的 K/V, 而上面的10000的配置，只是Query 這個level峰档，就是說真正的cache_size 是 Query size * segment nums败匹， 如果你有2個segment，那么你看到的state數(shù)據(jù)很可能是cache_size:20000
為什么在文檔沒看到有這個cache.count的說明和配置讥巡？
看下圖就明白了掀亩，其實如果看源代碼的話你就知道怎么配了。欢顷。槽棍。
怎么判斷哪些Query 會被cache
這個問題可以拆分成2個子問題：
- 這個Query 會還是不會被cache
- 這個Query請求多少次后會被cache
可以從UsageTrackingQueryCachingPolicy.java 這個類里面找答案；
其中第一個問題是
關(guān)于上面這幾個Query 都不會被cache，對于第一個炼七，TermQuery缆巧，官方的說法是從ES5開始，他們覺得從Term 的鏈表中去找數(shù)據(jù)已經(jīng)足夠快了豌拙，所以是不需要再去緩存了陕悬；其他的則是一些聯(lián)合查詢，或者嵌套查詢姆蘸，不應(yīng)該把外層cache
對于第二個問題則可以看代碼：
分兩種墩莫，如果是Costly的query，則只需要訪問2次就會被cache了逞敷。
為什么明明限制了cache.size,但是為什么dump出來發(fā)現(xiàn)cache的占用還是大于閾值
要回答這個問題就比較復(fù)雜了狂秦，簡單一句話就是：要估算一個Query最終占用多少空間，其實是非常復(fù)雜的推捐，如果對這個問題感興趣裂问，我建議必須真的一定務(wù)必要認(rèn)真閱讀一下下面這兩個issue，你會受益匪淺的
query cache used memory calculating is not correct, which cause non-stopping old gc
那有辦法避免cache過大OOM么牛柒？
目前來看如果你的查詢真的非常復(fù)雜堪簿，真的很容易有cache 泄漏的話，那么最簡單暴力的辦法就是去減少cache.count,比如設(shè)置到1000（默認(rèn)10000）
官方已經(jīng)很貼心的幫你這么做了,如果你用的是下面以后的版本皮壁，那么你的默認(rèn)cache.count是被設(shè)置成1000了
結(jié)尾
好了椭更，如果你完成了這一系列的配置之后，剩下就是去觀察你的GC頻率蛾魄，HEAP使用虑瀑，還有query_cache的states了。
下面放出我的調(diào)優(yōu)結(jié)果：
- Memory size已經(jīng)可以接近配置的3G
- cache size 調(diào)成了30000
- 命中率提升到75% 以上
希望大家雙十一性能爆表滴须！還有cache 的問題歡迎來聊舌狗。
