檢索文檔(sense)基礎(chǔ)語法

檢索文檔操作 (sense)

ElasticSearch版本 2.4.2 ,新版本有待學(xué)習(xí)瞧甩。

1. 檢索單條文檔

這在 Elasticsearch 中很簡單。

一個 HTTP GET 請求并指定文檔的地址——索引庫、類型和ID岛宦。

使用這三個信息可以返回原始的 JSON 文檔:

GET /megacorp/employee/1

返回結(jié)果包含了文檔的一些元數(shù)據(jù)阱佛,以及 _source 屬性帖汞,內(nèi)容是 John Smith 雇員的原始 JSON 文檔:

{
  "_index": "megacorp",
  "_type": "employee",
  "_id": "1",
  "_version": 1,
  "found": true,
  "_source": {
      "first_name": "John",
      "last_name": "Smith",
      "age": 25,
      "about": "I love to go rock climbing",
      "interests": [
        "sports",
        "music"
      ]
  }
}

2. 輕量搜索

  • 請求所有的雇員

GET /megacorp/employee/_search

可以看到,我們?nèi)匀皇褂盟饕龓?megacorp 以及類型 employee凑术,但與指定一個文檔 ID 不同翩蘸,這次使用 _search 。

返回結(jié)果包括了所有三個文檔淮逊,放在數(shù)組 hits 中催首。一個搜索默認(rèn)返回十條結(jié)果扶踊。

返回結(jié)果不僅告知匹配了哪些文檔,還包含了整個文檔本身:顯示搜索結(jié)果給最終用戶所需的全部信息郎任。

  • 接下來秧耗,嘗試下搜索姓氏為 Smith 的雇員。

為此舶治,我們將使用一個 高亮 搜索分井,很容易通過命令行完成。

這個方法一般涉及到一個 查詢字符串 (query-string) 搜索霉猛,我們通過一個URL參數(shù)來傳遞查詢信息給搜索接口:

GET /megacorp/employee/_search?q=last_name:Smith

具體返回結(jié)果含義再行解釋

3. 使用查詢表達(dá)式搜索

Query-string 搜索通過命令非常方便地進(jìn)行臨時性的即席搜索 尺锚,但它有自身的局限性(參見 輕量 搜索 )。

Elasticsearch 提供一個豐富靈活的查詢語言叫做 查詢表達(dá)式 惜浅, 它支持構(gòu)建更加復(fù)雜和健壯的查詢瘫辩。

領(lǐng)域特定語言 (DSL), 指定了使用一個 JSON 請求赡矢。我們可以像這樣重寫之前的查詢所有 Smith 的搜索 :

GET /megacorp/employee/_search
{
    "query": {
        "match": {
          "last_name": "Smith"
        }
    }
}

4. 更復(fù)雜的搜索(過濾器filter)

現(xiàn)在嘗試下更復(fù)雜的搜索杭朱。

  • 同樣搜索姓氏為 Smith 的雇員,但這次我們只需要年齡大于 30 的吹散。

查詢需要稍作調(diào)整弧械,使用過濾器 filter ,它支持高效地執(zhí)行一個結(jié)構(gòu)化查詢空民。

GET /megacorp/employee/_search
{
    "query": {
        "bool": {
            "must": [ //這個可以省略
              {
                  "match": {
                      "last_name": "smith"
                  }
              }
            ],
            "filter":{
                "range": {
                  "age": {
                      "gt": 30
                  }
                }
            }
        }
    }
}

5. 全文搜索(相關(guān)性)

截止目前的搜索相對都很簡單:單個姓名刃唐,通過年齡過濾。

現(xiàn)在嘗試下稍微高級點兒的全文搜索——一項傳統(tǒng)數(shù)據(jù)庫確實很難搞定的任務(wù)界轩。

  • 搜索下所有喜歡攀巖(rock climbing)的雇員:
GET /megacorp/employee/_search
{
    "query": {
        "match": {
          "about": "rock climbing"
        }
    }
}

顯然我們依舊使用之前的 match 查詢在about 屬性上搜索 “rock climbing” 画饥。得到兩個匹配的文檔:

{   
    ......
  "hits": {
      "total": 2,
      "max_score": 0.16273327,
      "hits": [
        {
            "_index": "megacorp",
            "_type": "employee",
            "_id": "1",
            "_score": 0.16273327,  ①
            "_source": {
              "first_name": "John",
              "last_name": "Smith",
              "age": 25,
              "about": "I love to go rock climbing",
              "interests": [
                  "sports",
                  "music"
              ]
            }
        },
        {
            "_index": "megacorp",
            "_type": "employee",
            "_id": "2",
            "_score": 0.016878016,    ②
            "_source": {
              "first_name": "Jane",
              "last_name": "Smith",
              "age": 32,
              "about": "I like to collect rock albums",
              "interests": [
                  "music"
              ]
            }
        }
      ]
  }
}
  • 相關(guān)性得分

Elasticsearch 默認(rèn)按照相關(guān)性得分排序,即每個文檔跟查詢的匹配程度浊猾。

第一個最高得分的結(jié)果很明顯:John Smith 的 about 屬性清楚地寫著 “rock climbing” 抖甘。

但為什么 Jane Smith 也作為結(jié)果返回了呢?原因是她的 about 屬性里提到了 “rock” 葫慎。

因為只有 “rock” 而沒有 “climbing” 衔彻,所以她的相關(guān)性得分低于 John 的。

這是一個很好的案例偷办,闡明了 Elasticsearch 如何 在 全文屬性上搜索并返回相關(guān)性最強(qiáng)的結(jié)果艰额。Elasticsearch中的 相關(guān)性 概念非常重要,也是完全區(qū)別于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的一個概念椒涯,數(shù)據(jù)庫中的一條記錄要么匹配要么不匹配柄沮。

6. 短語搜索

找出一個屬性中的獨(dú)立單詞是沒有問題的,但有時候想要精確匹配一系列單詞或者短語 。

  • 比如祖搓,我們想執(zhí)行這樣一個查詢狱意,僅匹配同時包含 “rock” 和 “climbing” ,并且 二者以短語 “rock climbing” 的形式緊挨著的雇員記錄棕硫。

為此對 match 查詢稍作調(diào)整髓涯,使用一個叫做 match_phrase 的查詢:

GET /megacorp/employee/_search
{
    "query": {
        "match_phrase": {
          "about": "rock climbing"
        }
    }
}

毫無懸念,返回結(jié)果僅有 John Smith 的文檔哈扮。

7. 高亮搜索

許多應(yīng)用都傾向于在每個搜索結(jié)果中 高亮 部分文本片段纬纪,以便讓用戶知道為何該文檔符合查詢條件。

  • 在 Elasticsearch 中檢索出高亮片段也很容易滑肉。
    再次執(zhí)行前面的查詢包各,并增加一個新的 highlight 參數(shù):
GET /megacorp/employee/_search
{
    "query": {
        "match_phrase": {
          "about": "rock climbing"
        }
    },
    "highlight": {
        "fields": {
            "about":{}
        }
    }
}

當(dāng)執(zhí)行該查詢時,返回結(jié)果與之前一樣靶庙,與此同時結(jié)果中還多了一個叫做 highlight 的部分问畅。

這個部分包含了 about 屬性匹配的文本片段,并以 HTML 標(biāo)簽 <em></em> 封裝:

{
  ...
  "hits": {
      "total":      1,
      "max_score":  0.23013961,
      "hits": [
        {
            ...
            "_score":        0.23013961,
            "_source": {
              "first_name":  "John",
              "last_name":  "Smith",
              "age":        25,
              "about":      "I love to go rock climbing",
              "interests": [ "sports", "music" ]
            },
            "highlight": {
              "about": [
                  "I love to go <em>rock</em> <em>climbing</em>"
              ]
            }
        }
      ]
  }
}

關(guān)于高亮搜索片段六荒,可以在 highlighting reference documentation 了解更多信息护姆。

分析

終于到了最后一個業(yè)務(wù)需求:支持管理者對雇員目錄做分析。

Elasticsearch 有一個功能叫聚合(aggregations)掏击,允許我們基于數(shù)據(jù)生成一些精細(xì)的分析結(jié)果卵皂。

聚合與 SQL 中的 GROUP BY 類似但更強(qiáng)大。

  • 舉個例子砚亭,挖掘出雇員中最受歡迎的興趣愛好:
GET /megacorp/employee/_search
{
  "aggs": {
    "all_interests": {
      "terms": { "field": "interests" }
    }
  }
}
{
  ...
  "hits": { ... },
  "aggregations": {
      "all_interests": {
        "buckets": [
            {
              "key":      "music",
              "doc_count": 2
            },
            {
              "key":      "forestry",
              "doc_count": 1
            },
            {
              "key":      "sports",
              "doc_count": 1
            }
        ]
      }
  }
}

可以看到灯变,兩位員工對音樂感興趣,一位對林地感興趣捅膘,一位對運(yùn)動感興趣添祸。

這些聚合并非預(yù)先統(tǒng)計,而是從匹配當(dāng)前查詢的文檔中即時生成寻仗。

如果想知道叫 Smith 的雇員中最受歡迎的興趣愛好刃泌,可以直接添加適當(dāng)?shù)牟樵儊斫M合查詢:

GET /megacorp/employee/_search
{
  "query": {
    "match": {
      "last_name": "smith"
    }
  },
  "aggs": {
    "all_interests": {
      "terms": {
        "field": "interests"
      }
    }
  }
}
  • 聚合還支持分級匯總 。比如署尤,查詢特定興趣愛好員工的平均年齡:
GET /megacorp/employee/_search
{
    "aggs" : {
        "all_interests" : {
            "terms" : { "field" : "interests" },
            "aggs" : {
                "avg_age" : {    //自定義名稱
                    "avg" : { "field" : "age" }    //avg 平均
                }
            }
        }
    }
}

輸出基本是第一次聚合的加強(qiáng)版蔬咬。

依然有一個興趣及數(shù)量的列表,只不過每個興趣都有了一個附加的 avg_age 屬性沐寺,代表有這個興趣愛好的所有員工的平均年齡。

即使現(xiàn)在不太理解這些語法也沒有關(guān)系盖奈,依然很容易了解到復(fù)雜聚合及分組通過 Elasticsearch 特性實現(xiàn)得很完美混坞。可提取的數(shù)據(jù)類型毫無限制。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末究孕,一起剝皮案震驚了整個濱河市啥酱,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌厨诸,老刑警劉巖镶殷,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異微酬,居然都是意外死亡绘趋,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進(jìn)店門颗管,熙熙樓的掌柜王于貴愁眉苦臉地迎上來陷遮,“玉大人,你說我怎么就攤上這事垦江∶辈觯” “怎么了?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵比吭,是天一觀的道長绽族。 經(jīng)常有香客問我,道長衩藤,這世上最難降的妖魔是什么吧慢? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮慷彤,結(jié)果婚禮上娄蔼,老公的妹妹穿的比我還像新娘。我一直安慰自己底哗,他們只是感情好岁诉,可當(dāng)我...
    茶點故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著跋选,像睡著了一般涕癣。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上前标,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天坠韩,我揣著相機(jī)與錄音,去河邊找鬼炼列。 笑死只搁,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的俭尖。 我是一名探鬼主播氢惋,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼洞翩,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了焰望?” 一聲冷哼從身側(cè)響起骚亿,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎熊赖,沒想到半個月后来屠,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡震鹉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年俱笛,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片足陨。...
    茶點故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡嫂粟,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出墨缘,到底是詐尸還是另有隱情星虹,我是刑警寧澤,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布镊讼,位于F島的核電站宽涌,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏蝶棋。R本人自食惡果不足惜卸亮,卻給世界環(huán)境...
    茶點故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望玩裙。 院中可真熱鬧兼贸,春花似錦、人聲如沸吃溅。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽决侈。三九已至螺垢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間赖歌,已是汗流浹背枉圃。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留庐冯,地道東北人孽亲。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像展父,于是被迫代替她去往敵國和親墨林。 傳聞我的和親對象是個殘疾皇子赁酝,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,916評論 2 344