檢索文檔操作 (sense)
ElasticSearch版本 2.4.2 ,新版本有待學(xué)習(xí)瞧甩。
1. 檢索單條文檔
這在 Elasticsearch 中很簡單。
一個 HTTP GET 請求并指定文檔的地址——索引庫、類型和ID岛宦。
使用這三個信息可以返回原始的 JSON 文檔:
GET /megacorp/employee/1
返回結(jié)果包含了文檔的一些元數(shù)據(jù)阱佛,以及 _source 屬性帖汞,內(nèi)容是 John Smith 雇員的原始 JSON 文檔:
{
"_index": "megacorp",
"_type": "employee",
"_id": "1",
"_version": 1,
"found": true,
"_source": {
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I love to go rock climbing",
"interests": [
"sports",
"music"
]
}
}
2. 輕量搜索
- 請求所有的雇員
GET /megacorp/employee/_search
可以看到,我們?nèi)匀皇褂盟饕龓?megacorp 以及類型 employee凑术,但與指定一個文檔 ID 不同翩蘸,這次使用 _search 。
返回結(jié)果包括了所有三個文檔淮逊,放在數(shù)組 hits 中催首。一個搜索默認(rèn)返回十條結(jié)果扶踊。
返回結(jié)果不僅告知匹配了哪些文檔,還包含了整個文檔本身:顯示搜索結(jié)果給最終用戶所需的全部信息郎任。
- 接下來秧耗,嘗試下搜索姓氏為
Smith
的雇員。
為此舶治,我們將使用一個 高亮 搜索分井,很容易通過命令行完成。
這個方法一般涉及到一個 查詢字符串 (query-string) 搜索霉猛,我們通過一個URL參數(shù)來傳遞查詢信息給搜索接口:
GET /megacorp/employee/_search?q=last_name:Smith
具體返回結(jié)果含義再行解釋
3. 使用查詢表達(dá)式搜索
Query-string 搜索通過命令非常方便地進(jìn)行臨時性的即席搜索 尺锚,但它有自身的局限性(參見 輕量 搜索 )。
Elasticsearch 提供一個豐富靈活的查詢語言叫做 查詢表達(dá)式 惜浅, 它支持構(gòu)建更加復(fù)雜和健壯的查詢瘫辩。
領(lǐng)域特定語言 (DSL), 指定了使用一個 JSON 請求赡矢。我們可以像這樣重寫之前的查詢所有 Smith 的搜索 :
GET /megacorp/employee/_search
{
"query": {
"match": {
"last_name": "Smith"
}
}
}
4. 更復(fù)雜的搜索(過濾器filter)
現(xiàn)在嘗試下更復(fù)雜的搜索杭朱。
- 同樣搜索姓氏為 Smith 的雇員,但這次我們只需要年齡大于 30 的吹散。
查詢需要稍作調(diào)整弧械,使用過濾器 filter ,它支持高效地執(zhí)行一個結(jié)構(gòu)化查詢空民。
GET /megacorp/employee/_search
{
"query": {
"bool": {
"must": [ //這個可以省略
{
"match": {
"last_name": "smith"
}
}
],
"filter":{
"range": {
"age": {
"gt": 30
}
}
}
}
}
}
5. 全文搜索(相關(guān)性)
截止目前的搜索相對都很簡單:單個姓名刃唐,通過年齡過濾。
現(xiàn)在嘗試下稍微高級點兒的全文搜索——一項傳統(tǒng)數(shù)據(jù)庫確實很難搞定的任務(wù)界轩。
- 搜索下所有喜歡攀巖(rock climbing)的雇員:
GET /megacorp/employee/_search
{
"query": {
"match": {
"about": "rock climbing"
}
}
}
顯然我們依舊使用之前的 match 查詢在about 屬性上搜索 “rock climbing” 画饥。得到兩個匹配的文檔:
{
......
"hits": {
"total": 2,
"max_score": 0.16273327,
"hits": [
{
"_index": "megacorp",
"_type": "employee",
"_id": "1",
"_score": 0.16273327, ①
"_source": {
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I love to go rock climbing",
"interests": [
"sports",
"music"
]
}
},
{
"_index": "megacorp",
"_type": "employee",
"_id": "2",
"_score": 0.016878016, ②
"_source": {
"first_name": "Jane",
"last_name": "Smith",
"age": 32,
"about": "I like to collect rock albums",
"interests": [
"music"
]
}
}
]
}
}
- 相關(guān)性得分
Elasticsearch 默認(rèn)按照相關(guān)性得分排序,即每個文檔跟查詢的匹配程度浊猾。
第一個最高得分的結(jié)果很明顯:John Smith 的 about 屬性清楚地寫著 “rock climbing” 抖甘。
但為什么 Jane Smith 也作為結(jié)果返回了呢?原因是她的 about 屬性里提到了 “rock” 葫慎。
因為只有 “rock” 而沒有 “climbing” 衔彻,所以她的相關(guān)性得分低于 John 的。
這是一個很好的案例偷办,闡明了 Elasticsearch 如何 在 全文屬性上搜索并返回相關(guān)性最強(qiáng)的結(jié)果艰额。Elasticsearch中的 相關(guān)性 概念非常重要,也是完全區(qū)別于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的一個概念椒涯,數(shù)據(jù)庫中的一條記錄要么匹配要么不匹配柄沮。
6. 短語搜索
找出一個屬性中的獨(dú)立單詞是沒有問題的,但有時候想要精確匹配一系列單詞或者短語 。
- 比如祖搓,我們想執(zhí)行這樣一個查詢狱意,僅匹配同時包含 “rock” 和 “climbing” ,并且 二者以短語 “rock climbing” 的形式緊挨著的雇員記錄棕硫。
為此對 match 查詢稍作調(diào)整髓涯,使用一個叫做 match_phrase 的查詢:
GET /megacorp/employee/_search
{
"query": {
"match_phrase": {
"about": "rock climbing"
}
}
}
毫無懸念,返回結(jié)果僅有 John Smith 的文檔哈扮。
7. 高亮搜索
許多應(yīng)用都傾向于在每個搜索結(jié)果中 高亮 部分文本片段纬纪,以便讓用戶知道為何該文檔符合查詢條件。
- 在 Elasticsearch 中檢索出高亮片段也很容易滑肉。
再次執(zhí)行前面的查詢包各,并增加一個新的 highlight 參數(shù):
GET /megacorp/employee/_search
{
"query": {
"match_phrase": {
"about": "rock climbing"
}
},
"highlight": {
"fields": {
"about":{}
}
}
}
當(dāng)執(zhí)行該查詢時,返回結(jié)果與之前一樣靶庙,與此同時結(jié)果中還多了一個叫做 highlight 的部分问畅。
這個部分包含了 about 屬性匹配的文本片段,并以 HTML 標(biāo)簽 <em></em> 封裝:
{
...
"hits": {
"total": 1,
"max_score": 0.23013961,
"hits": [
{
...
"_score": 0.23013961,
"_source": {
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I love to go rock climbing",
"interests": [ "sports", "music" ]
},
"highlight": {
"about": [
"I love to go <em>rock</em> <em>climbing</em>"
]
}
}
]
}
}
關(guān)于高亮搜索片段六荒,可以在 highlighting reference documentation 了解更多信息护姆。
分析
終于到了最后一個業(yè)務(wù)需求:支持管理者對雇員目錄做分析。
Elasticsearch 有一個功能叫聚合(aggregations)掏击,允許我們基于數(shù)據(jù)生成一些精細(xì)的分析結(jié)果卵皂。
聚合與 SQL 中的 GROUP BY 類似但更強(qiáng)大。
- 舉個例子砚亭,挖掘出雇員中最受歡迎的興趣愛好:
GET /megacorp/employee/_search
{
"aggs": {
"all_interests": {
"terms": { "field": "interests" }
}
}
}
{
...
"hits": { ... },
"aggregations": {
"all_interests": {
"buckets": [
{
"key": "music",
"doc_count": 2
},
{
"key": "forestry",
"doc_count": 1
},
{
"key": "sports",
"doc_count": 1
}
]
}
}
}
可以看到灯变,兩位員工對音樂感興趣,一位對林地感興趣捅膘,一位對運(yùn)動感興趣添祸。
這些聚合并非預(yù)先統(tǒng)計,而是從匹配當(dāng)前查詢的文檔中即時生成寻仗。
如果想知道叫 Smith 的雇員中最受歡迎的興趣愛好刃泌,可以直接添加適當(dāng)?shù)牟樵儊斫M合查詢:
GET /megacorp/employee/_search
{
"query": {
"match": {
"last_name": "smith"
}
},
"aggs": {
"all_interests": {
"terms": {
"field": "interests"
}
}
}
}
- 聚合還支持分級匯總 。比如署尤,查詢特定興趣愛好員工的平均年齡:
GET /megacorp/employee/_search
{
"aggs" : {
"all_interests" : {
"terms" : { "field" : "interests" },
"aggs" : {
"avg_age" : { //自定義名稱
"avg" : { "field" : "age" } //avg 平均
}
}
}
}
}
輸出基本是第一次聚合的加強(qiáng)版蔬咬。
依然有一個興趣及數(shù)量的列表,只不過每個興趣都有了一個附加的 avg_age 屬性沐寺,代表有這個興趣愛好的所有員工的平均年齡。
即使現(xiàn)在不太理解這些語法也沒有關(guān)系盖奈,依然很容易了解到復(fù)雜聚合及分組通過 Elasticsearch 特性實現(xiàn)得很完美混坞。可提取的數(shù)據(jù)類型毫無限制。