1.1基本概念

Elasticsearch也是基于Lucene的全文檢索庫，本質(zhì)也是存儲(chǔ)數(shù)據(jù)桶良，很多概念與MySQL類似的。

對(duì)比關(guān)系：

索引（indices）--------------------------------Databases 數(shù)據(jù)庫

? 類型（type）-----------------------------Table 數(shù)據(jù)表

? 文檔（Document）----------------Row 行

? 字段（Field）-------------------Columns 列

詳細(xì)說明：

• 索引集（Indices颓哮，index的復(fù)數(shù)）：邏輯上的完整索引
• 分片（shard）：數(shù)據(jù)拆分后的各個(gè)部分
• 副本（replica）：每個(gè)分片的復(fù)制

要注意的是：Elasticsearch本身就是分布式的家妆，因此即便你只有一個(gè)節(jié)點(diǎn)，Elasticsearch默認(rèn)也會(huì)對(duì)你的數(shù)據(jù)進(jìn)行分片和副本操作冕茅，當(dāng)你向集群添加新數(shù)據(jù)時(shí)揩徊，數(shù)據(jù)也會(huì)在新加入的節(jié)點(diǎn)中進(jìn)行平衡。

1.2.創(chuàng)建索引

1.2.1.語法

Elasticsearch采用Rest風(fēng)格API嵌赠，因此其API就是一次http請(qǐng)求，你可以用任何工具發(fā)起http請(qǐng)求

創(chuàng)建索引的請(qǐng)求格式：

• 請(qǐng)求方式：PUT

• 請(qǐng)求路徑：/索引庫名

• 請(qǐng)求參數(shù)：json格式：

  {
      "settings": {
          "number_of_shards": 3,
          "number_of_replicas": 2
        }
  }
  

  • settings：索引庫的設(shè)置
    • number_of_shards：分片數(shù)量
    • number_of_replicas：副本數(shù)量

1.2.2.測(cè)試

我們用kibana來試試

可以看到索引創(chuàng)建成功了熄赡。

1.2.3.使用posman創(chuàng)建

也可以創(chuàng)建成功姜挺，但是沒有使用kibana來的方便

1.3.查看索引設(shè)置

語法

Get請(qǐng)求可以幫我們查看索引信息，格式：

GET /索引庫名

或者彼硫，我們可以使用*來查詢所有索引庫配置

1.4.刪除索引

刪除索引使用DELETE請(qǐng)求

語法

DELETE /索引庫名

2.5.映射配置

索引有了炊豪，接下來肯定是添加數(shù)據(jù)。但是拧篮，在添加數(shù)據(jù)之前必須定義映射词渤。

什么是映射？

? 映射是定義文檔的過程串绩，文檔包含哪些字段缺虐，這些字段是否保存，是否索引礁凡，是否分詞等

只有配置清楚高氮，Elasticsearch才會(huì)幫我們進(jìn)行索引庫的創(chuàng)建

2.5.1.創(chuàng)建映射字段

語法

請(qǐng)求方式依然是PUT

PUT /索引庫名/_mapping/類型名稱
{
  "properties": {
    "字段名": {
      "type": "類型",
      "index": true，
      "store": true顷牌，
      "analyzer": "分詞器"
    }
  }
}

• 類型名稱：就是前面將的type的概念剪芍，類似于數(shù)據(jù)庫中的不同表
  字段名：任意填寫 ，可以指定許多屬性窟蓝，例如：
• type：類型罪裹，可以是text、long运挫、short状共、date、integer谁帕、object等
• index：是否索引口芍，默認(rèn)為true
• store：是否存儲(chǔ)评腺，默認(rèn)為false
• analyzer：分詞器印蔗，這里的ik_max_word即使用ik分詞器

示例

發(fā)起請(qǐng)求：

PUT testindex/_mapping/goods
{
  "properties": {
    "title": {
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "images": {
      "type": "keyword",
      "index": "false"
    },
    "price": {
      "type": "float"
    }
  }
}

響應(yīng)結(jié)果：

{
  "acknowledged": true
}

1.5.2.查看映射關(guān)系

語法：

GET /索引庫名/_mapping

示例：

GET /testindex/_mapping

響應(yīng)：

{
  "testindex": {
    "mappings": {
      "goods": {
        "properties": {
          "images": {
            "type": "keyword",
            "index": false
          },
          "price": {
            "type": "float"
          },
          "title": {
            "type": "text",
            "analyzer": "ik_max_word"
          }
        }
      }
    }
  }
}

1.5.3.字段屬性詳解

1.5.3.1.type

Elasticsearch中支持的數(shù)據(jù)類型非常豐富：

我們說幾個(gè)關(guān)鍵的：

• String類型，又分兩種：

  • text：可分詞，不可參與聚合
  • keyword：不可分詞味滞，數(shù)據(jù)會(huì)作為完整字段進(jìn)行匹配，可以參與聚合

• Numerical：數(shù)值類型次兆，分兩類

  • 基本數(shù)據(jù)類型：long箱舞、interger、short裤翩、byte资盅、double、float踊赠、half_float
  • 浮點(diǎn)數(shù)的高精度類型：scaled_float
    • 需要指定一個(gè)精度因子呵扛，比如10或100。elasticsearch會(huì)把真實(shí)值乘以這個(gè)因子后存儲(chǔ)筐带，取出時(shí)再還原今穿。

• Date：日期類型

  elasticsearch可以對(duì)日期格式化為字符串存儲(chǔ)，但是建議我們存儲(chǔ)為毫秒值伦籍，存儲(chǔ)為long蓝晒，節(jié)省空間。

1.5.3.2.index

index影響字段的索引情況帖鸦。

• true：字段會(huì)被索引芝薇，則可以用來進(jìn)行搜索。默認(rèn)值就是true
• false：字段不會(huì)被索引作儿，不能用來搜索

index的默認(rèn)值就是true洛二，也就是說你不進(jìn)行任何配置，所有字段都會(huì)被索引攻锰。

但是有些字段是我們不希望被索引的灭红，比如商品的圖片信息，就需要手動(dòng)設(shè)置index為false口注。

1.5.3.3.store

是否將數(shù)據(jù)進(jìn)行額外存儲(chǔ)变擒。

在學(xué)習(xí)lucene和solr時(shí)，我們知道如果一個(gè)字段的store設(shè)置為false寝志，那么在文檔列表中就不會(huì)有這個(gè)字段的值娇斑，用戶的搜索結(jié)果中不會(huì)顯示出來。

但是在Elasticsearch中材部，即便store設(shè)置為false毫缆，也可以搜索到結(jié)果。

原因是Elasticsearch在創(chuàng)建文檔索引時(shí)乐导，會(huì)將文檔中的原始數(shù)據(jù)備份苦丁，保存到一個(gè)叫做_source的屬性中。而且我們可以通過過濾_source來選擇哪些要顯示物臂，哪些不顯示旺拉。

而如果設(shè)置store為true产上，就會(huì)在_source以外額外存儲(chǔ)一份數(shù)據(jù)，多余蛾狗，因此一般我們都會(huì)將store設(shè)置為false晋涣，事實(shí)上，store的默認(rèn)值就是false沉桌。

1.6.新增數(shù)據(jù)

1.6.1.隨機(jī)生成id

通過POST請(qǐng)求谢鹊，可以向一個(gè)已經(jīng)存在的索引庫中添加數(shù)據(jù)。

語法：

POST /索引庫名/類型名
{
    "key":"value"
}

示例：

POST /testindex/goods/
{
    "title":"小米手機(jī)",
    "images":"1,jpg",
    "price":111.00
}

響應(yīng)：

{
  "_index": "testindex",
  "_type": "goods",
  "_id": "AWsS5Neq-k3yg4WVTNnG",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "created": true
}

通過kibana查看數(shù)據(jù)：

get _search
{
    "query":{
        "match_all":{}
    }
}

{
  "_index": "testindex",
  "_type": "goods",
  "_id": "AWsS5Neq-k3yg4WVTNnG",
  "_version": 1,
  "_score": 1,
  "_source": {
    "title": "小米手機(jī)",
    "images": "1.jpg",
    "price": 111
  }
}

• _source：源文檔信息留凭，所有的數(shù)據(jù)都在里面佃扼。
• _id：這條文檔的唯一標(biāo)示，與文檔自己的id字段沒有關(guān)聯(lián)

1.6.2.自定義id

如果我們想要自己新增的時(shí)候指定id蔼夜，可以這么做：

POST /索引庫名/類型/id值
{
    ...
}

示例：

POST /testindex/goods/2
{
    "title":"大米手機(jī)",
    "images":"2.jpg",
    "price":222
}

得到的數(shù)據(jù)：

{
  "_index": "testindex",
  "_type": "goods",
  "_id": "2",
  "_score": 1,
  "_source": {
    "title": "大米手機(jī)",
    "images": "2,jpg",
    "price": 222
  }
}

2.6.3.智能判斷

在學(xué)習(xí)Solr時(shí)我們發(fā)現(xiàn)兼耀，我們?cè)谛略鰯?shù)據(jù)時(shí)，只能使用提前配置好映射屬性的字段挎扰，否則就會(huì)報(bào)錯(cuò)。

不過在Elasticsearch中并沒有這樣的規(guī)定巢音。

事實(shí)上Elasticsearch非常智能遵倦，你不需要給索引庫設(shè)置任何mapping映射，它也可以根據(jù)你輸入的數(shù)據(jù)來判斷類型官撼，動(dòng)態(tài)添加數(shù)據(jù)映射梧躺。

測(cè)試一下：

POST /testindex/goods/3
{
    "title":"超米手機(jī)",
    "images":"3.jpg",
    "price":333,
    "stock": 200
}

我們額外添加了stock庫存字段。

來看結(jié)果：

{
  "_index": "testindex",
  "_type": "goods",
  "_id": "3",
  "_version": 1,
  "_score": 1,
  "_source": {
    "title": "超米手機(jī)",
    "images": "3.jpg",
    "price": 333,
    "stock": 200
  }
}

在看下索引庫的映射關(guān)系:

{
  "testindex": {
    "mappings": {
      "goods": {
        "properties": {
          "images": {
            "type": "keyword",
            "index": false
          },
          "price": {
            "type": "float"
          },
          "stock": {
            "type": "long"
          },
          "title": {
            "type": "text",
            "analyzer": "ik_max_word"
          }
        }
      }
    }
  }
}

stock和saleable都被成功映射了傲绣。

1.7.修改數(shù)據(jù)

把剛才新增的請(qǐng)求方式改為PUT掠哥，就是修改了。不過修改必須指定id秃诵，

• id對(duì)應(yīng)文檔存在续搀，則修改
• id對(duì)應(yīng)文檔不存在，則新增

比如菠净，我們把id為3的數(shù)據(jù)進(jìn)行修改：

PUT /testindex/goods/3
{
    "title":"超大米手機(jī)",
    "images":"3.jpg",
    "price":333,
    "stock": 100
}

結(jié)果：

{
  "took": 17,
  "timed_out": false,
  "_shards": {
    "total": 9,
    "successful": 9,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "testindex",
        "_type": "goods",
        "_id": "3",
        "_score": 1,
        "_source": {
          "title": "超大米手機(jī)",
          "images": "3.jpg",
          "price": 333,
          "stock": 100
        }
      }
    ]
  }
}

2.8.刪除數(shù)據(jù)

刪除使用DELETE請(qǐng)求禁舷，同樣，需要根據(jù)id進(jìn)行刪除：

語法

DELETE /索引庫名/類型名/id值

3.查詢

我們從4塊來講查詢：

• 基本查詢
• _source過濾
• 結(jié)果過濾
• 高級(jí)查詢
• 排序

3.1.基本查詢：

基本語法

GET /索引庫名/_search
{
    "query":{
        "查詢類型":{
            "查詢條件":"查詢條件值"
        }
    }
}

這里的query代表一個(gè)查詢對(duì)象毅往，里面可以有不同的查詢屬性

• 查詢類型：
  • 例如：match_all牵咙， match，term 攀唯， range 等等
• 查詢條件：查詢條件會(huì)根據(jù)類型的不同洁桌，寫法也有差異，后面詳細(xì)講解

3.1.1 查詢所有（match_all)

示例：

GET /testindex/_search
{
    "query":{
        "match_all": {}
    }
}

• query：代表查詢對(duì)象
• match_all：代表查詢所有

結(jié)果：

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "testindex",
        "_type": "goods",
        "_id": "AWsS5Neq-k3yg4WVTNnG",
        "_score": 1,
        "_source": {
          "title": "小米手機(jī)",
          "images": "1,jpg",
          "price": 111
        }
      }
    ]
  }
}

• took：查詢花費(fèi)時(shí)間侯嘀，單位是毫秒
• time_out：是否超時(shí)
• _shards：分片信息
• hits：搜索結(jié)果總覽對(duì)象
  • total：搜索到的總條數(shù)
  • max_score：所有結(jié)果中文檔得分的最高分
  • hits：搜索結(jié)果的文檔對(duì)象數(shù)組另凌，每個(gè)元素是一條搜索到的文檔信息
    • _index：索引庫
    • _type：文檔類型
    • _id：文檔id
    • _score：文檔得分
    • _source：文檔的源數(shù)據(jù)

3.1.2 匹配查詢（match）

• or關(guān)系

match類型查詢谱轨，會(huì)把查詢條件進(jìn)行分詞，然后進(jìn)行查詢,多個(gè)詞條之間是or的關(guān)系

GET /testindex/_search
{
    "query":{
        "match":{
            "title":"小米手機(jī)"
        }
    }
}

結(jié)果：

{
  "took": 26,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 0.51623213,
    "hits": [
      {
        "_index": "testindex",
        "_type": "goods",
        "_id": "AWsS5Neq-k3yg4WVTNnG",
        "_score": 0.51623213,
        "_source": {
          "title": "小米手機(jī)",
          "images": "1,jpg",
          "price": 111
        }
      },
      {
        "_index": "testindex",
        "_type": "goods",
        "_id": "3",
        "_score": 0.25811607,
        "_source": {
          "title": "小米電視",
          "images": "4.jp",
          "price": 444
        }
      }
    ]
  }
}

在上面的案例中途茫，不僅會(huì)查詢到小米手機(jī)碟嘴，而且與小米相關(guān)的都會(huì)查詢到，多個(gè)詞之間是or的關(guān)系囊卜。（小米手機(jī)分為小米和手機(jī)兩個(gè)詞娜扇，由于是or關(guān)系，所以只要有小米或者手機(jī)兩個(gè)關(guān)鍵字中的一個(gè)就會(huì)被查詢到）

• and關(guān)系

某些情況下栅组，我們需要更精確查找雀瓢，我們希望這個(gè)關(guān)系變成and，可以這樣做：

GET /testindex/_search
{
    "query":{
        "match": {
          "title": {
            "query": "小米手機(jī)",
            "operator": "and"
          }
        }
    }
}

結(jié)果：

{
  "took": 26,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.51623213,
    "hits": [
      {
        "_index": "testindex",
        "_type": "goods",
        "_id": "AWsS5Neq-k3yg4WVTNnG",
        "_score": 0.51623213,
        "_source": {
          "title": "小米手機(jī)",
          "images": "1,jpg",
          "price": 111
        }
      }
    ]
  }
}

本例中玉掸，只有同時(shí)包含小米和手機(jī)的詞條才會(huì)被搜索到刃麸。

• or和and之間？

在 or 與 and 間二選一有點(diǎn)過于非黑即白司浪。 如果用戶給定的條件分詞后有 5 個(gè)查詢?cè)~項(xiàng)泊业，想查找只包含其中 4 個(gè)詞的文檔，該如何處理啊易？將 operator 操作符參數(shù)設(shè)置成 and 只會(huì)將此文檔排除吁伺。

有時(shí)候這正是我們期望的，但在全文搜索的大多數(shù)應(yīng)用場(chǎng)景下租谈，我們既想包含那些可能相關(guān)的文檔篮奄，同時(shí)又排除那些不太相關(guān)的。換句話說割去，我們想要處于中間某種結(jié)果窟却。

match 查詢支持 minimum_should_match 最小匹配參數(shù)， 這讓我們可以指定必須匹配的詞項(xiàng)數(shù)用來表示一個(gè)文檔是否相關(guān)呻逆。我們可以將其設(shè)置為某個(gè)具體數(shù)字夸赫，更常用的做法是將其設(shè)置為一個(gè)百分?jǐn)?shù)，因?yàn)槲覀儫o法控制用戶搜索時(shí)輸入的單詞數(shù)量：

GET /testindex/_search
{
    "query":{
        "match":{
            "title":{
                "query":"小米無敵手機(jī)",
                "minimum_should_match": "75%"
            }
        }
    }
}

本例中咖城，搜索語句可以分為3個(gè)詞憔足，如果使用and關(guān)系，需要同時(shí)滿足3個(gè)詞才會(huì)被搜索到酒繁。這里我們采用最小品牌數(shù)：75%滓彰，那么也就是說只要匹配到總詞條數(shù)量的75%即可，這里3*75% 約等于2州袒。所以只要包含2個(gè)詞條就算滿足條件了揭绑。

3.1.3 多字段查詢（multi_match）

multi_match與match類似，不同的是它可以在多個(gè)字段中查詢

GET /testindex/_search
{
    "query":{
        "multi_match": {
            "query":    "小米",
            "fields":   [ "title", "image" ]
        }
    }
}

會(huì)在title和image兩個(gè)字段中取查詢

3.1.4 詞條匹配(term)

term 查詢被用于精確值 匹配，這些精確值可能是數(shù)字他匪、時(shí)間菇存、布爾或者那些未分詞的字符串

GET /testindex/_search
{
    "query":{
        "term":{
            "price":111
        }
    }
}

結(jié)果：

{
  "took": 15,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "testindex",
        "_type": "goods",
        "_id": "AWsS5Neq-k3yg4WVTNnG",
        "_score": 1,
        "_source": {
          "title": "小米手機(jī)",
          "images": "1,jpg",
          "price": 111
        }
      }
    ]
  }
}

3.1.5 多詞條精確匹配(terms)

terms 查詢和 term 查詢一樣，但它允許你指定多值進(jìn)行匹配邦蜜。如果這個(gè)字段包含了指定值中的任何一個(gè)值依鸥，那么這個(gè)文檔滿足條件：

GET /testindex/_search
{
    "query":{
        "terms":{
            "price":[111,222]
        }
    }
}

3.2.結(jié)果過濾

默認(rèn)情況下，elasticsearch在搜索的結(jié)果中悼沈，會(huì)把文檔中保存在_source的所有字段都返回贱迟。

如果我們只想獲取其中的部分字段，我們可以添加_source的過濾

3.2.1.直接指定字段

示例：

GET /testindex/_search
{
  "_source": ["title","price"],
  "query": {
    "term": {
      "price": 111
    }
  }
}

返回的結(jié)果：

{
  "took": 28,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "testindex",
        "_type": "goods",
        "_id": "AWsS5Neq-k3yg4WVTNnG",
        "_score": 1,
        "_source": {
          "price": 111,
          "title": "小米手機(jī)"
        }
      }
    ]
  }
}

這樣_source字段中只有title和price兩個(gè)字段了

3.2.2.指定includes和excludes

我們也可以通過：

• includes：來指定想要顯示的字段
• excludes：來指定不想要顯示的字段

二者都是可選的絮供。

示例：

GET /testindex/_search
{
  "_source": {
    "includes":["title","price"]
  },
  "query": {
    "term": {
      "price": 111
    }
  }
}

與下面的結(jié)果將是一樣的：

GET /testindex/_search
{ 
  "_source": {
     "excludes": ["images"]
  },
  "query": {
    "term": {
      "price": 2699
    }
  }
}

3.3 高級(jí)查詢

3.3.1 布爾組合（bool)

bool把各種其它查詢通過must（與）衣吠、must_not（非）、should（或）的方式進(jìn)行組合

GET /testindex/_search
{
    "query":{
        "bool":{
            "must":     { "match": { "title": "小米" }},
            "must_not": { "match": { "title":  "電視" }},
            "should":   { "match": { "title": "手機(jī)" }}
        }
    }
}

結(jié)果：

{
  "took": 18,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.51623213,
    "hits": [
      {
        "_index": "testindex",
        "_type": "goods",
        "_id": "AWsS5Neq-k3yg4WVTNnG",
        "_score": 0.51623213,
        "_source": {
          "title": "小米手機(jī)",
          "images": "1,jpg",
          "price": 111
        }
      }
    ]
  }
}

range查詢?cè)试S以下字符：

3.3.3 模糊查詢(fuzzy)

我們新增一個(gè)商品：

POST /testindex/goods/4
{
    "title":"apple手機(jī)",
    "images":"apple.jpg",
    "price":6899.00
}

fuzzy 查詢是 term 查詢的模糊等價(jià)壤靶。它允許用戶搜索詞條與實(shí)際詞條的拼寫出現(xiàn)偏差缚俏，但是偏差的編輯距離不得超過2：

GET /testindex/_search
{
  "query": {
    "fuzzy": {
      "title": "appla"
    }
  }
}

上面的查詢，也能查詢到apple手機(jī)

我們可以通過fuzziness來指定允許的編輯距離：

GET /testindex/_search
{
  "query": {
    "fuzzy": {
        "title": {
            "value":"appla",
            "fuzziness":1
        }
    }
  }
}

3.4 過濾(filter)

條件查詢中進(jìn)行過濾

所有的查詢都會(huì)影響到文檔的評(píng)分及排名贮乳。如果我們需要在查詢結(jié)果中進(jìn)行過濾忧换，并且不希望過濾條件影響評(píng)分，那么就不要把過濾條件作為查詢條件來用向拆。而是使用filter方式：

GET /testindex/_search
{
    "query":{
        "bool":{
            "must":{ "match": { "title": "小米手機(jī)" }},
            "filter":{
                "range":{"price":{"gt":2000.00,"lt":3800.00}}
            }
        }
    }
}

注意：filter中還可以再次進(jìn)行bool組合條件過濾亚茬。

無查詢條件，直接過濾

如果一次查詢只有過濾亲铡，沒有查詢條件才写，不希望進(jìn)行評(píng)分葡兑，我們可以使用constant_score取代只有 filter 語句的 bool 查詢奖蔓。在性能上是完全相同的，但對(duì)于提高查詢簡(jiǎn)潔性和清晰度有很大幫助讹堤。

GET /heima/_search
{
    "query":{
        "constant_score":   {
            "filter": {
                 "range":{"price":{"gt":2000.00,"lt":3000.00}}
            }
        }
}

3.5 排序

3.4.1 單字段排序

sort 可以讓我們按照不同的字段進(jìn)行排序吆鹤，并且通過order指定排序的方式

GET /testindex/_search
{
  "query": {
    "match": {
      "title": "小米手機(jī)"
    }
  },
  "sort": [
    {
      "price": {
        "order": "desc"
      }
    }
  ]
}

3.4.2 多字段排序

假定我們想要結(jié)合使用 price和 _score（得分） 進(jìn)行查詢，并且匹配的結(jié)果首先按照價(jià)格排序洲守，然后按照相關(guān)性得分排序：

GET /goods/_search
{
    "query":{
        "bool":{
            "must":{ "match": { "title": "小米手機(jī)" }},
            "filter":{
                "range":{"price":{"gt":200000,"lt":300000}}
            }
        }
    },
    "sort": [
      { "price": { "order": "desc" }},
      { "_score": { "order": "desc" }}
    ]
}

4. 聚合aggregations

聚合可以讓我們極其方便的實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)計(jì)疑务、分析。例如：

• 什么品牌的手機(jī)最受歡迎梗醇？
• 這些手機(jī)的平均價(jià)格知允、最高價(jià)格、最低價(jià)格叙谨？
• 這些手機(jī)每月的銷售情況如何温鸽？

實(shí)現(xiàn)這些統(tǒng)計(jì)功能的比數(shù)據(jù)庫的sql要方便的多，而且查詢速度非常快涤垫，可以實(shí)現(xiàn)實(shí)時(shí)搜索效果姑尺。

4.1 基本概念

Elasticsearch中的聚合，包含多種類型蝠猬，最常用的兩種切蟋，一個(gè)叫桶，一個(gè)叫度量：

桶（bucket）

桶的作用榆芦，是按照某種方式對(duì)數(shù)據(jù)進(jìn)行分組柄粹，每一組數(shù)據(jù)在ES中稱為一個(gè)桶，例如我們根據(jù)國(guó)籍對(duì)人劃分歧杏，可以得到中國(guó)桶镰惦、英國(guó)桶，日本桶……或者我們按照年齡段對(duì)人進(jìn)行劃分：0_10,1020,20_30,3040等犬绒。

Elasticsearch中提供的劃分桶的方式有很多：

• Date Histogram Aggregation：根據(jù)日期階梯分組旺入，例如給定階梯為周，會(huì)自動(dòng)每周分為一組
• Histogram Aggregation：根據(jù)數(shù)值階梯分組凯力，與日期類似
• Terms Aggregation：根據(jù)詞條內(nèi)容分組茵瘾，詞條內(nèi)容完全匹配的為一組
• Range Aggregation：數(shù)值和日期的范圍分組，指定開始和結(jié)束咐鹤，然后按段分組
• ……

綜上所述拗秘，我們發(fā)現(xiàn)bucket aggregations 只負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行分組，并不進(jìn)行計(jì)算祈惶，因此往往bucket中往往會(huì)嵌套另一種聚合：metrics aggregations即度量

度量（metrics）

分組完成以后雕旨，我們一般會(huì)對(duì)組中的數(shù)據(jù)進(jìn)行聚合運(yùn)算，例如求平均值捧请、最大凡涩、最小、求和等疹蛉，這些在ES中稱為度量

比較常用的一些度量聚合方式：

• Avg Aggregation：求平均值
• Max Aggregation：求最大值
• Min Aggregation：求最小值
• Percentiles Aggregation：求百分比
• Stats Aggregation：同時(shí)返回avg活箕、max、min可款、sum育韩、count等
• Sum Aggregation：求和
• Top hits Aggregation：求前幾
• Value Count Aggregation：求總數(shù)
• ……

為了測(cè)試聚合，我們先批量導(dǎo)入一些數(shù)據(jù)

創(chuàng)建索引：

PUT /cars
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "transactions": {
      "properties": {
        "color": {
          "type": "keyword"
        },
        "make": {
          "type": "keyword"
        }
      }
    }
  }
}

注意：在ES中闺鲸，需要進(jìn)行聚合筋讨、排序、過濾的字段其處理方式比較特殊摸恍，因此不能被分詞悉罕。這里我們將color和make這兩個(gè)文字類型的字段設(shè)置為keyword類型，這個(gè)類型不會(huì)被分詞，將來就可以參與聚合

導(dǎo)入數(shù)據(jù)

POST /cars/transactions/_bulk
{ "index": {}}
{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" }
{ "index": {}}
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" }
{ "index": {}}
{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" }
{ "index": {}}
{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" }
{ "index": {}}
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" }
{ "index": {}}
{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

4.2 聚合為桶

首先蛮粮，我們按照 汽車的顏色color來劃分桶

GET /cars/_search
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "terms" : { 
              "field" : "color"
            }
        }
    }
}

• size： 查詢條數(shù)益缎，這里設(shè)置為0，因?yàn)槲覀儾魂P(guān)心搜索到的數(shù)據(jù)然想，只關(guān)心聚合結(jié)果莺奔，提高效率
• aggs：聲明這是一個(gè)聚合查詢，是aggregations的縮寫
  • popular_colors：給這次聚合起一個(gè)名字变泄，任意令哟。
    • terms：劃分桶的方式，這里是根據(jù)詞條劃分
      • field：劃分桶的字段

結(jié)果：

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "popular_colors": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "red",
          "doc_count": 4
        },
        {
          "key": "blue",
          "doc_count": 2
        },
        {
          "key": "green",
          "doc_count": 2
        }
      ]
    }
  }
}

• hits：查詢結(jié)果為空妨蛹，因?yàn)槲覀冊(cè)O(shè)置了size為0
• aggregations：聚合的結(jié)果
• popular_colors：我們定義的聚合名稱
• buckets：查找到的桶屏富，每個(gè)不同的color字段值都會(huì)形成一個(gè)桶
  • key：這個(gè)桶對(duì)應(yīng)的color字段的值
  • doc_count：這個(gè)桶中的文檔數(shù)量

通過聚合的結(jié)果我們發(fā)現(xiàn)，目前紅色的小車比較暢銷蛙卤！

4.3 桶內(nèi)度量

前面的例子告訴我們每個(gè)桶里面的文檔數(shù)量狠半，這很有用。 但通常颤难，我們的應(yīng)用需要提供更復(fù)雜的文檔度量神年。 例如，每種顏色汽車的平均價(jià)格是多少行嗤？

因此已日，我們需要告訴Elasticsearch使用哪個(gè)字段，使用何種度量方式進(jìn)行運(yùn)算栅屏，這些信息要嵌套在桶內(nèi)飘千，度量的運(yùn)算會(huì)基于桶內(nèi)的文檔進(jìn)行

現(xiàn)在，我們?yōu)閯倓偟木酆辖Y(jié)果添加 求價(jià)格平均值的度量：

GET /cars/_search
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "terms" : { 
              "field" : "color"
            },
            "aggs":{
                "avg_price": { 
                   "avg": {
                      "field": "price" 
                   }
                }
            }
        }
    }
}

• aggs：我們?cè)谏弦粋€(gè)aggs(popular_colors)中添加新的aggs栈雳』つ危可見度量也是一個(gè)聚合,度量是在桶內(nèi)的聚合
• avg_price：聚合的名稱
• avg：度量的類型，這里是求平均值
• field：度量運(yùn)算的字段

結(jié)果：

...
  "aggregations": {
    "popular_colors": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "red",
          "doc_count": 4,
          "avg_price": {
            "value": 32500
          }
        },
        {
          "key": "blue",
          "doc_count": 2,
          "avg_price": {
            "value": 20000
          }
        },
        {
          "key": "green",
          "doc_count": 2,
          "avg_price": {
            "value": 21000
          }
        }
      ]
    }
  }
...

可以看到每個(gè)桶中都有自己的avg_price字段甫恩，這是度量聚合的結(jié)果

4.4 桶內(nèi)嵌套桶

剛剛的案例中逆济，我們?cè)谕皟?nèi)嵌套度量運(yùn)算酌予。事實(shí)上桶不僅可以嵌套運(yùn)算磺箕， 還可以再嵌套其它桶。也就是說在每個(gè)分組中抛虫，再分更多組松靡。

比如：我們想統(tǒng)計(jì)每種顏色的汽車中，分別屬于哪個(gè)制造商建椰，按照make字段再進(jìn)行分桶

GET /cars/_search
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "terms" : { 
              "field" : "color"
            },
            "aggs":{
                "avg_price": { 
                   "avg": {
                      "field": "price" 
                   }
                },
                "maker":{
                    "terms":{
                        "field":"make"
                    }
                }
            }
        }
    }
}

• 原來的color桶和avg計(jì)算我們不變
• maker：在嵌套的aggs下新添一個(gè)桶雕欺，叫做maker
• terms：桶的劃分類型依然是詞條
• filed：這里根據(jù)make字段進(jìn)行劃分

部分結(jié)果：

...
{"aggregations": {
    "popular_colors": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "red",
          "doc_count": 4,
          "maker": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "honda",
                "doc_count": 3
              },
              {
                "key": "bmw",
                "doc_count": 1
              }
            ]
          },
          "avg_price": {
            "value": 32500
          }
        },
        {
          "key": "blue",
          "doc_count": 2,
          "maker": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "ford",
                "doc_count": 1
              },
              {
                "key": "toyota",
                "doc_count": 1
              }
            ]
          },
          "avg_price": {
            "value": 20000
          }
        },
        {
          "key": "green",
          "doc_count": 2,
          "maker": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "ford",
                "doc_count": 1
              },
              {
                "key": "toyota",
                "doc_count": 1
              }
            ]
          },
          "avg_price": {
            "value": 21000
          }
        }
      ]
    }
  }
}
...

• 我們可以看到，新的聚合maker被嵌套在原來每一個(gè)color的桶中。
• 每個(gè)顏色下面都根據(jù) make字段進(jìn)行了分組
• 我們能讀取到的信息：
  • 紅色車共有4輛
  • 紅色車的平均售價(jià)是 $32屠列，500 美元啦逆。
  • 其中3輛是 Honda 本田制造，1輛是 BMW 寶馬制造笛洛。

4.5.劃分桶的其它方式

前面講了夏志，劃分桶的方式有很多，例如：

• Date Histogram Aggregation：根據(jù)日期階梯分組苛让，例如給定階梯為周沟蔑，會(huì)自動(dòng)每周分為一組
• Histogram Aggregation：根據(jù)數(shù)值階梯分組，與日期類似
• Terms Aggregation：根據(jù)詞條內(nèi)容分組狱杰，詞條內(nèi)容完全匹配的為一組
• Range Aggregation：數(shù)值和日期的范圍分組瘦材，指定開始和結(jié)束，然后按段分組

剛剛的案例中仿畸，我們采用的是Terms Aggregation食棕，即根據(jù)詞條劃分桶。

接下來错沽，我們?cè)賹W(xué)習(xí)幾個(gè)比較實(shí)用的：

4.5.1.階梯分桶Histogram

原理：

histogram是把數(shù)值類型的字段宣蠕，按照一定的階梯大小進(jìn)行分組。你需要指定一個(gè)階梯值（interval）來劃分階梯大小甥捺。

舉例：

比如你有價(jià)格字段抢蚀，如果你設(shè)定interval的值為200，那么階梯就會(huì)是這樣的：

0镰禾，200皿曲，400，600吴侦，...

上面列出的是每個(gè)階梯的key屋休，也是區(qū)間的啟點(diǎn)。

如果一件商品的價(jià)格是450备韧，會(huì)落入哪個(gè)階梯區(qū)間呢劫樟？計(jì)算公式如下：

bucket_key = Math.floor((value - offset) / interval) * interval + offset

value：就是當(dāng)前數(shù)據(jù)的值，本例中是450

offset：起始偏移量织堂，默認(rèn)為0

interval：階梯間隔叠艳，比如200

因此你得到的key = Math.floor((450 - 0) / 200) * 200 + 0 = 400

操作一下：

比如，我們對(duì)汽車的價(jià)格進(jìn)行分組易阳，指定間隔interval為5000：

GET /cars/_search
{
  "size":0,
  "aggs":{
    "price":{
      "histogram": {
        "field": "price",
        "interval": 5000
      }
    }
  }
}

結(jié)果：

{
  "took": 21,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "price": {
      "buckets": [
        {
          "key": 10000,
          "doc_count": 2
        },
        {
          "key": 15000,
          "doc_count": 1
        },
        {
          "key": 20000,
          "doc_count": 2
        },
        {
          "key": 25000,
          "doc_count": 1
        },
        {
          "key": 30000,
          "doc_count": 1
        },
        {
          "key": 35000,
          "doc_count": 0
        },
        {
          "key": 40000,
          "doc_count": 0
        },
        {
          "key": 45000,
          "doc_count": 0
        },
        {
          "key": 50000,
          "doc_count": 0
        },
        {
          "key": 55000,
          "doc_count": 0
        },
        {
          "key": 60000,
          "doc_count": 0
        },
        {
          "key": 65000,
          "doc_count": 0
        },
        {
          "key": 70000,
          "doc_count": 0
        },
        {
          "key": 75000,
          "doc_count": 0
        },
        {
          "key": 80000,
          "doc_count": 1
        }
      ]
    }
  }
}

你會(huì)發(fā)現(xiàn)附较，中間有大量的文檔數(shù)量為0 的桶，看起來很丑潦俺。

我們可以增加一個(gè)參數(shù)min_doc_count為1拒课，來約束最少文檔數(shù)量為1徐勃，這樣文檔數(shù)量為0的桶會(huì)被過濾

示例：

GET /cars/_search
{
  "size":0,
  "aggs":{
    "price":{
      "histogram": {
        "field": "price",
        "interval": 5000,
        "min_doc_count": 1
      }
    }
  }
}

結(jié)果：

{
  "took": 15,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "price": {
      "buckets": [
        {
          "key": 10000,
          "doc_count": 2
        },
        {
          "key": 15000,
          "doc_count": 1
        },
        {
          "key": 20000,
          "doc_count": 2
        },
        {
          "key": 25000,
          "doc_count": 1
        },
        {
          "key": 30000,
          "doc_count": 1
        },
        {
          "key": 80000,
          "doc_count": 1
        }
      ]
    }
  }
}

完美，早像！

4.5.2.范圍分桶range

范圍分桶與階梯分桶類似僻肖，也是把數(shù)字按照階段進(jìn)行分組，只不過range方式需要你自己指定每一組的起始和結(jié)束大小卢鹦。