ES之聚合分析

一:聚合分析簡(jiǎn)介

對(duì)于ES聚合请毛,相當(dāng)與數(shù)據(jù)庫(kù)中的group by 語(yǔ)句,把ES中符合的數(shù)據(jù)給聚合并返回給客戶端丑掺。

ES中获印,聚合語(yǔ)句的查詢格式為:

{
  "aggs": {
    "agg_name": {<!--聚合名稱-->
      "agg_type": {<!---聚合類型-->
        <!--具體聚合body-->
      }
    }
  }
}

二:聚合分析分類

ES當(dāng)中的聚合分析主要分為指標(biāo)(metric)聚合和桶(bucketing)聚合。

1.指標(biāo)聚合

指標(biāo)聚合(也叫度量聚合)街州,簡(jiǎn)單點(diǎn)來(lái)說(shuō)就是對(duì)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行相應(yīng)的指標(biāo)計(jì)算之后兼丰,得出聚合結(jié)果,如求最大值唆缴、最小值鳍征、平均值等。
其一般的查詢格式為:

{
  "size": 0,
  "aggs": {
    "max_agg": {
      "max": {<!--指標(biāo)關(guān)鍵詞-->
        "field": "score"<!--按照某個(gè)字段進(jìn)行聚合-->
      }
    }
  }
}

PS:聚合查詢中面徽,size可以設(shè)置為0艳丛,表示不返回ES中的文檔,只返回ES聚合之后的數(shù)據(jù)趟紊,提高查詢速度氮双,當(dāng)然如果你需要這些文檔的話,也可以按照實(shí)際情況進(jìn)行設(shè)置霎匈。
指標(biāo)聚合的分類大致如下:

  1. max min sum avg
  2. 文檔計(jì)數(shù) count
  3. Value count 統(tǒng)計(jì)某字段有值的文檔數(shù)
  4. cardinality 值去重計(jì)數(shù)
  5. stats 統(tǒng)計(jì) count max min avg sum 5個(gè)值
  6. Extended stats
  7. Percentiles 占比百分位對(duì)應(yīng)的值統(tǒng)計(jì)
  8. Percentiles rank 統(tǒng)計(jì)值小于等于指定值的文檔占比
  9. Geo Bounds aggregation 求文檔集中的地理位置坐標(biāo)點(diǎn)的范圍
  10. Geo Centroid aggregation 求地理位置中心點(diǎn)坐標(biāo)值
    大家具體情況具體使用吧戴差!

2.桶聚合(bucket)

桶聚合,就是把符合聚合條件數(shù)據(jù)放在一個(gè)分組(桶)里面铛嘱,寧外暖释,桶聚合還將計(jì)算落入某個(gè)桶里面的文檔數(shù)量(count)
舉個(gè)例子:按照某個(gè)字段進(jìn)行聚合袭厂,比如color字段有red、yellow球匕、black等纹磺,按照顏色進(jìn)行聚合,查詢DSL語(yǔ)句為:

{
  "size": 0,
  "aggs": {
    "term_agg": {
      "terms": {<!--指標(biāo)關(guān)鍵詞-->
        "field": "color"<!--按照某個(gè)字段進(jìn)行聚合-->
      }
    }
  }
}

返回結(jié)果為:

...
{
...
"bucket":[
{"key":"red",
"doc_count":123}
...
]
}

key為聚合的桶的名稱亮曹,doc_count就是聚合的數(shù)量橄杨,有一個(gè)比較重要的地方,就是在做聚合分析的時(shí)候乾忱,該字段的mapping需要設(shè)置為不可分詞的,不然聚合的結(jié)果可能不是你想的那樣讥珍。
聚合操作历极,還是比較復(fù)雜的窄瘟,有時(shí)候要按照嵌套進(jìn)行聚合才能得出你想要的答案,下面貼出來(lái)一些常用的聚合:

  1. Terms Aggregation 根據(jù)字段值項(xiàng)分組聚合
  2. filter Aggregation 對(duì)滿足過(guò)濾查詢的文檔進(jìn)行聚合計(jì)算
  3. Filters Aggregation 多個(gè)過(guò)濾組聚合計(jì)算
  4. Range Aggregation 范圍分組聚合
  5. Date Range Aggregation 時(shí)間范圍分組聚合
  6. Date Histogram Aggregation 時(shí)間直方圖(柱狀)聚合
  7. Missing Aggregation 缺失值的桶聚合
  8. Geo Distance Aggregation 地理距離分區(qū)聚合
    補(bǔ)充一下趟卸,還有矩陣聚合蹄葱,這個(gè)可以聚合出條件并集的這種情況(adjacency_matrix),
    比如說(shuō) A锄列、B图云、C 想聚合A、B邻邮、C竣况、A&B、A&C筒严、B&C就可以用矩陣聚合

三:嵌套聚合

在實(shí)際情況中丹泉,你可能想把符合某一條件的數(shù)據(jù)聚合到一個(gè)桶里面,然后在這個(gè)桶里面進(jìn)行各項(xiàng)指標(biāo)的計(jì)算鸭蛙,這時(shí)候應(yīng)該怎么做呢摹恨?嵌套聚合。
比如下面的DSL語(yǔ)句:

{
  "size": 0,
  "aggs": {
    "term_agg": {
      "terms": {<!--指標(biāo)關(guān)鍵詞-->
        "field": "color"<!--按照某個(gè)字段進(jìn)行聚合-->
      }
    }娶视,
“aggs”:{
"avg_price"{
"avg":{<!--指標(biāo)關(guān)鍵詞-->
"field":"price"}
}
}
  }
}

表示晒哄,按照顏色聚合到桶內(nèi)后,計(jì)算每個(gè)顏色下的平均價(jià)格肪获。
復(fù)雜的嵌套查詢還有很多寝凌,比如說(shuō)上面的按照平均值聚合后升序排列該怎么做?實(shí)際情況也有很多復(fù)雜的聚合查詢孝赫,具體情況具體討論吧较木。

這應(yīng)該算我隔了好幾年來(lái)第一次寫(xiě)博客吧,寫(xiě)得不好請(qǐng)見(jiàn)諒寒锚,自己也在學(xué)習(xí)上升的階段劫映,所以也想通過(guò)寫(xiě)博客來(lái)鞏固鞏固违孝,不然容易忘記知識(shí),希望自己能堅(jiān)持下去泳赋!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末雌桑,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子祖今,更是在濱河造成了極大的恐慌校坑,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件千诬,死亡現(xiàn)場(chǎng)離奇詭異耍目,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)徐绑,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門邪驮,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人傲茄,你說(shuō)我怎么就攤上這事毅访。” “怎么了盘榨?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵喻粹,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我草巡,道長(zhǎng)守呜,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任山憨,我火速辦了婚禮查乒,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘萍歉。我一直安慰自己侣颂,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布枪孩。 她就那樣靜靜地躺著憔晒,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蔑舞。 梳的紋絲不亂的頭發(fā)上拒担,一...
    開(kāi)封第一講書(shū)人閱讀 52,736評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音攻询,去河邊找鬼从撼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛钧栖,可吹牛的內(nèi)容都是我干的低零。 我是一名探鬼主播婆翔,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼掏婶!你這毒婦竟也來(lái)了啃奴?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤雄妥,失蹤者是張志新(化名)和其女友劉穎最蕾,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體老厌,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡瘟则,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了枝秤。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片醋拧。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖宿百,靈堂內(nèi)的尸體忽然破棺而出趁仙,到底是詐尸還是另有隱情洪添,我是刑警寧澤垦页,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站干奢,受9級(jí)特大地震影響痊焊,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜忿峻,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一薄啥、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧逛尚,春花似錦垄惧、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至滤钱,卻和暖如春觉壶,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背件缸。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工铜靶, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人他炊。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓争剿,卻偏偏與公主長(zhǎng)得像已艰,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子蚕苇,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容