一谍失、簡介
全文搜索屬于最常見的需求，開源的 Elasticsearch （以下簡稱 Elastic）是目前全文搜索引擎的首選。
它可以快速地儲存拴袭、搜索和分析海量數(shù)據(jù)读第。維基百科、Stack Overflow拥刻、Github 都采用它
Elastic 的底層是開源庫 Lucene怜瞒。但是，你沒法直接用 Lucene般哼，必須自己寫代碼去調(diào)用它的接口吴汪。Elastic 是 Lucene 的封裝，提供了 REST API 的操作接口蒸眠，開箱即用漾橙。
本文從零開始，講解如何使用 Elastic 搭建自己的全文搜索引擎楞卡。每一步都有詳細(xì)的說明霜运，大家跟著做就能學(xué)會。
二蒋腮、安裝
Elastic 需要 Java 8 環(huán)境淘捡。如果你的機器還沒安裝 Java，可以參考這篇文章池摧，注意要保證環(huán)境變量JAVA_HOME正確設(shè)置焦除。
安裝完 Java，就可以跟著官方文檔安裝 Elastic作彤。直接下載壓縮包比較簡單踢京。
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.zip
tar -zvxf elasticsearch-6.3.2.tar.gz
進入解壓后的目錄，運行下面的命令宦棺，啟動 Elastic
[root@bogon opt]# cd elasticsearch-6.3.2
[root@bogon elasticsearch-6.3.2]# ls
bin config lib LICENSE.txt logs modules NOTICE.txt plugins README.textile
[root@bogon elasticsearch-6.3.2]# ./bin/elasticsearch
Java HotSpot(TM) 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
[2018-08-01T17:14:31,803][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:140) ~[elasticsearch-6.3.2.jar:6.3.2]
at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:127) ~[elasticsearch-6.3.2.jar:6.3.2]
at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.3.2.jar:6.3.2]
at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.3.2.jar:6.3.2]
at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.3.2.jar:6.3.2]
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) ~[elasticsearch-6.3.2.jar:6.3.2]
at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:86) ~[elasticsearch-6.3.2.jar:6.3.2]
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:104) ~[elasticsearch-6.3.2.jar:6.3.2]
at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:171) ~[elasticsearch-6.3.2.jar:6.3.2]
at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:326) ~[elasticsearch-6.3.2.jar:6.3.2]
at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:136) ~[elasticsearch-6.3.2.jar:6.3.2]
... 6 more
[root@bogon elasticsearch-6.3.2]#
可以看到我們啟動報錯了瓣距，找到報錯原因是不能以root身份用戶啟動elasticsearch，
java.lang.RuntimeException: can not run elasticsearch as root
這是出于系統(tǒng)安全考慮設(shè)置的條件代咸。由于ElasticSearch可以接收用戶輸入的腳本并且執(zhí)行蹈丸，為了系統(tǒng)安全考慮， 建議創(chuàng)建一個單獨的用戶用來運行ElasticSearch呐芥。
還有另一種方法是運行時加上參數(shù)：
bin/elasticsearch -Des.insecure.allow.root=true
或者修改bin/elasticsearch逻杖，加上ES_JAVA_OPTS屬性：
ES_JAVA_OPTS="-Des.insecure.allow.root=true"
啟動成功后Elastic 就會在默認(rèn)的9200端口運行。這時思瘟，打開另一個命令行窗口荸百，請求該端口，會得到說明信息滨攻。
[root@bogon ~]# curl localhost:9200
{
"name" : "xRiHjMO",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "Ew8RjOgqT_qVk69UWuhHjQ",
"version" : {
"number" : "6.3.2",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "053779d",
"build_date" : "2018-07-20T05:20:23.451332Z",
"build_snapshot" : false,
"lucene_version" : "7.3.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
[root@bogon ~]#
上面代碼中够话，請求9200端口蓝翰，Elastic 返回一個 JSON 對象，包含當(dāng)前節(jié)點女嘲、集群畜份、版本等信息。
按下 Ctrl + C欣尼，Elastic 就會停止運行爆雹。
默認(rèn)情況下，Elastic 只允許本機訪問愕鼓，如果需要遠(yuǎn)程訪問钙态，可以修改 Elastic 安裝目錄的config/elasticsearch.yml文件，去掉network.host的注釋菇晃，將它的值改成0.0.0.0册倒，然后重新啟動 Elastic。
network.host: 0.0.0.0
上面代碼中谋旦，設(shè)成0.0.0.0讓任何人都可以訪問剩失。線上服務(wù)不要這樣設(shè)置，要設(shè)成具體的 IP册着。
三拴孤、基本概念
3.1 Node 與 Cluster
Elastic 本質(zhì)上是一個分布式數(shù)據(jù)庫，允許多臺服務(wù)器協(xié)同工作甲捏，每臺服務(wù)器可以運行多個 Elastic 實例演熟。
單個 Elastic 實例稱為一個節(jié)點（node）。一組節(jié)點構(gòu)成一個集群（cluster）司顿。
3.2 Index
Elastic 會索引所有字段芒粹，經(jīng)過處理后寫入一個反向索引（Inverted Index）。查找數(shù)據(jù)的時候大溜，直接查找該索引化漆。
所以，Elastic 數(shù)據(jù)管理的頂層單位就叫做 Index（索引）钦奋。它是單個數(shù)據(jù)庫的同義詞座云。每個 Index （即數(shù)據(jù)庫）的名字必須是小寫。
下面的命令可以查看當(dāng)前節(jié)點的所有 Index付材。
$ curl -X GET 'http://localhost:9200/_cat/indices?v'
3.3 Document
Index 里面單條的記錄稱為 Document（文檔）朦拖。許多條 Document 構(gòu)成了一個 Index。
Document 使用 JSON 格式表示厌衔，下面是一個例子璧帝。
{ "user": "張三", "title": "工程師", "desc": "數(shù)據(jù)庫管理" }
同一個 Index 里面的 Document，不要求有相同的結(jié)構(gòu)（scheme）富寿，但是最好保持相同睬隶，這樣有利于提高搜索效率锣夹。
3.4 Type
Document 可以分組，比如weather這個 Index 里面理疙，可以按城市分組（北京和上海）晕城，也可以按氣候分組（晴天和雨天）泞坦。這種分組就叫做 Type窖贤，它是虛擬的邏輯分組，用來過濾 Document贰锁。
不同的 Type 應(yīng)該有相似的結(jié)構(gòu)（schema）赃梧，舉例來說，id字段不能在這個組是字符串豌熄，在另一個組是數(shù)值授嘀。這是與關(guān)系型數(shù)據(jù)庫的表的一個區(qū)別。性質(zhì)完全不同的數(shù)據(jù)（比如products和logs）應(yīng)該存成兩個 Index锣险，而不是一個 Index 里面的兩個 Type（雖然可以做到）蹄皱。
下面的命令可以列出每個 Index 所包含的 Type。
$ curl 'localhost:9200/_mapping?pretty=true'
根據(jù)規(guī)劃芯肤，Elastic 6.x 版只允許每個 Index 包含一個 Type巷折，7.x 版將會徹底移除 Type。
既然我們的節(jié)點(集群)已經(jīng)安裝成功并且已經(jīng)啟動運行崖咨，那么下一步就是去了解如何去操作它锻拘。幸運的是，Elasticsearch提供了非常全面和強大的REST API击蹲，我們可以通過它去跟集群交互署拟。通過API我們可以完成如下的功能：
檢查集群，節(jié)點和索引的健康狀況歌豺，狀態(tài)和統(tǒng)計數(shù)據(jù)
管理集群推穷，節(jié)點和索引的數(shù)據(jù)和原數(shù)據(jù)
執(zhí)行CRUD(增刪改查)操作，依靠索引進行搜索
執(zhí)行高級搜索操作类咧，比如分頁馒铃，排序，過濾轮听，腳本化骗露，聚集等等
檢查集群
curl -XGET ‘localhost:9200/_cat/health?v&pretty’
[root@bogon ~]# curl -XGET 'localhost:9200/_cat/health?v&pretty'
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1533799189 15:19:49 elasticsearch yellow 1 1 5 5 0 0 5 0 - 50.0%
我們可以看到我們的名稱為“elasticsearch”的集群正在運行，狀態(tài)標(biāo)識為green血巍。
無論何時查看集群健康狀態(tài)萧锉，我們會得到green、yellow述寡、red中的任何一個柿隙。
- Green : 一切運行正常(集群功能齊全)
- Yellow : 所有數(shù)據(jù)是可以獲取的叶洞，但是一些復(fù)制品還沒有被分配(集群功能齊全)
- Red :一些數(shù)據(jù)因為一些原因獲取不到(集群部分功能不可用)
注意：當(dāng)一個集群處于red狀態(tài)時，它會通過可用的分片繼續(xù)提供搜索服務(wù)禀崖，但是當(dāng)有未分配的分片時衩辟，你需要盡快的修復(fù)它。
另外波附，從上面的返回結(jié)果中我們可以看到艺晴，當(dāng)我們里面沒有數(shù)據(jù)時，總共有1個節(jié)點掸屡，0個分片封寞。注意當(dāng)我們使用默認(rèn)的集群名稱(elasticsearch)并且當(dāng)Elasticsearch默認(rèn)使用單播網(wǎng)絡(luò)發(fā)現(xiàn)在同一臺機器上的其它節(jié)點時，很可能你會在你電腦上不小心啟動不止一個節(jié)點并且他們都加入了一個集群仅财。在這種情況下狈究，你可能會從上面的返回結(jié)果中看到不止一個節(jié)點。
四盏求、新建和刪除 Index
新建 Index抖锥，可以直接向 Elastic 服務(wù)器發(fā)出 PUT 請求。下面的例子是新建一個名叫weather的 Index碎罚。
$ curl -X PUT 'localhost:9200/weather'
服務(wù)器返回一個 JSON 對象磅废，里面的acknowledged字段表示操作成功。
{
"acknowledged":true,
"shards_acknowledged":true
}
然后魂莫，我們發(fā)出 DELETE 請求还蹲，刪除這個 Index。
$ curl -X DELETE 'localhost:9200/weather'
測試如下
[root@bogon opt]# curl -X PUT 'localhost:9200/weather'
{"acknowledged":true,"shards_acknowledged":true,"index":"weather"}[root@bogon opt]# curl -X GET 'http://localhost:9200/_cat/indices?v'
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open weather Pagu9NrPSN6QJgK_XtM2Zg 5 1 0 0 1.1kb 1.1kb
[root@bogon opt]# curl -X DELETE 'localhost:9200/weather'
五耙考、中文分詞設(shè)置
首先谜喊，安裝中文分詞插件。這里使用的是 ik倦始，也可以考慮其他插件（比如 smartcn）斗遏。
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip
安裝成功的提示
[elsearch@bogon elasticsearch-6.3.0]$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip
-> Downloading https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip
[=================================================] 100%
-> Installed analysis-ik
[elsearch@bogon elasticsearch-6.3.0]$
上面代碼安裝的是6.3.0版的插件，與 Elastic 6.3.0配合使用鞋邑。版本一定要對應(yīng)Ｋ写巍！枚碗！
接著逾一，重新啟動 Elastic，就會自動加載這個新安裝的插件肮雨。
然后遵堵，新建一個 Index，指定需要分詞的字段。這一步根據(jù)數(shù)據(jù)結(jié)構(gòu)而異陌宿，下面的命令只針對本文锡足。基本上壳坪，凡是需要搜索的中文字段舶得，都要單獨設(shè)置一下。
$ curl -H "Content-Type: application/json" -X PUT 'localhost:9200/accounts' -d '
{
"mappings": {
"person": {
"properties": {
"user": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
},
"title": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
},
"desc": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
}
}
}
}
}'
上面代碼中爽蝴，首先新建一個名稱為accounts的 Index沐批，里面有一個名稱為person的 Type。person有三個字段霜瘪。
- user
- title
- desc
這三個字段都是中文珠插，而且類型都是文本（text）惧磺，所以需要指定中文分詞器颖对，不能使用默認(rèn)的英文分詞器。
Elastic 的分詞器稱為 analyzer磨隘。我們對每個字段指定分詞器缤底。
"user": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_max_word" }
上面代碼中，analyzer是字段文本的分詞器番捂，search_analyzer是搜索詞的分詞器个唧。ik_max_word分詞器是插件ik提供的，可以對文本進行最大數(shù)量的分詞设预。
六徙歼、數(shù)據(jù)操作
6.1 新增記錄
向指定的 /Index/Type 發(fā)送 PUT 請求，就可以在 Index 里面新增一條記錄鳖枕。比如魄梯，向/accounts/person發(fā)送請求，就可以新增一條人員記錄宾符。
curl -H "Content-Type: application/json" -X PUT 'localhost:9200/accounts/person/1' -d '
{
"user": "張三",
"title": "工程師",
"desc": "數(shù)據(jù)庫管理"
}'
服務(wù)器返回的 JSON 對象酿秸，會給出 Index、Type魏烫、Id辣苏、Version 等信息。
{
"_index":"accounts",
"_type":"person",
"_id":"1",
"_version":1,
"result":"created",
"_shards":{"total":2,"successful":1,"failed":0},
"created":true
}
如果你仔細(xì)看哄褒，會發(fā)現(xiàn)請求路徑是/accounts/person/1稀蟋，最后的1是該條記錄的 Id。它不一定是數(shù)字呐赡，任意字符串（比如abc）都可以退客。
新增記錄的時候，也可以不指定 Id罚舱，這時要改成 POST 請求井辜。
$ curl -H "Content-Type: application/json" -X POST 'localhost:9200/accounts/person' -d '
{
"user": "李四",
"title": "工程師",
"desc": "系統(tǒng)管理"
}'
{"_index":"accounts",
"_type":"person",
"_id":"vTU79WQBOZvuL_Qb1NjI",
"_version":1,
"result":"created",
"_shards":{
"total":2,
"successful":1,
"failed":0
},
"_seq_no":1,
"_primary_term":1}
上面代碼中绎谦，向/accounts/person發(fā)出一個 POST 請求，添加一個記錄粥脚。這時窃肠，服務(wù)器返回的 JSON 對象里面，_id字段就是一個隨機字符串
注意刷允，如果沒有先創(chuàng)建 Index（這個例子是accounts）冤留，直接執(zhí)行上面的命令，Elastic 也不會報錯树灶，而是直接生成指定的 Index纤怒。所以，打字的時候要小心天通，不要寫錯 Index 的名稱泊窘。
6.2 查看記錄
向/Index/Type/Id發(fā)出 GET 請求，就可以查看這條記錄像寒。
curl 'localhost:9200/accounts/person/1?pretty=true'
上面代碼請求查看/accounts/person/1這條記錄烘豹，URL 的參數(shù)pretty=true表示以易讀的格式返回。
返回的數(shù)據(jù)中诺祸，found字段表示查詢成功携悯，_source字段返回原始記錄。
{
"_index" : "accounts",
"_type" : "person",
"_id" : "1",
"_version" : 1,
"found" : true,
"_source" : {
"user" : "張三",
"title" : "工程師",
"desc" : "數(shù)據(jù)庫管理"
}
}
如果 Id 不正確筷笨，就查不到數(shù)據(jù)憔鬼，found字段就是false。
$ curl 'localhost:9200/weather/beijing/abc?pretty=true'
{
"_index" : "accounts",
"_type" : "person",
"_id" : "abc",
"found" : false
}
5.3 刪除記錄
刪除記錄就是發(fā)出 DELETE 請求胃夏。
$ curl -X DELETE 'localhost:9200/accounts/person/1'
這里先不要刪除這條記錄轴或，后面還要用到。
6.4 更新記錄
更新記錄就是使用 PUT 請求构订，重新發(fā)送一次數(shù)據(jù)侮叮。
$ curl -X PUT 'localhost:9200/accounts/person/1' -d '
{
"user" : "張三",
"title" : "工程師",
"desc" : "數(shù)據(jù)庫管理，軟件開發(fā)"
}'
{
"_index":"accounts",
"_type":"person",
"_id":"1",
"_version":2,
"result":"updated",
"_shards":{"total":2,"successful":1,"failed":0},
"created":false
}
上面代碼中悼瘾，我們將原始數(shù)據(jù)從"數(shù)據(jù)庫管理"改成"數(shù)據(jù)庫管理囊榜，軟件開發(fā)"。 返回結(jié)果里面亥宿，有幾個字段發(fā)生了變化卸勺。
"_version" : 2,
"result" : "updated",
"created" : false
可以看到，記錄的 Id 沒變烫扼，但是版本（version）從1變成2曙求，操作類型（result）從created變成updated，created字段變成false，因為這次不是新建記錄悟狱。
七静浴、數(shù)據(jù)查詢
7.1 返回所有記錄
使用 GET 方法，直接請求/Index/Type/_search挤渐，就會返回所有記錄苹享。
$ curl 'localhost:9200/accounts/person/_search' { "took":2, "timed_out":false, "_shards":{"total":5,"successful":5,"failed":0}, "hits":{ "total":2, "max_score":1.0, "hits":[ { "_index":"accounts", "_type":"person", "_id":"AV3qGfrC6jMbsbXb6k1p", "_score":1.0, "_source": { "user": "李四", "title": "工程師", "desc": "系統(tǒng)管理" } }, { "_index":"accounts", "_type":"person", "_id":"1", "_score":1.0, "_source": { "user" : "張三", "title" : "工程師", "desc" : "數(shù)據(jù)庫管理，軟件開發(fā)" } } ] } }
上面代碼中浴麻，返回結(jié)果的 took字段表示該操作的耗時（單位為毫秒）得问，timed_out字段表示是否超時，hits字段表示命中的記錄软免，里面子字段的含義如下宫纬。
total：返回記錄數(shù)，本例是2條膏萧。max_score：最高的匹配程度漓骚，本例是1.0。hits：返回的記錄組成的數(shù)組向抢。
返回的記錄中认境，每條記錄都有一個_score字段，表示匹配的程序挟鸠，默認(rèn)是按照這個字段降序排列。
6.2 全文搜索
Elastic 的查詢非常特別亩冬，使用自己的查詢語法艘希，要求 GET 請求帶有數(shù)據(jù)體。
$ curl 'localhost:9200/accounts/person/_search' -d ' { "query" : { "match" : { "desc" : "軟件" }} }'
上面代碼使用 Match 查詢硅急，指定的匹配條件是desc字段里面包含"軟件"這個詞覆享。返回結(jié)果如下。
{ "took":3, "timed_out":false, "_shards":{"total":5,"successful":5,"failed":0}, "hits":{ "total":1, "max_score":0.28582606, "hits":[ { "_index":"accounts", "_type":"person", "_id":"1", "_score":0.28582606, "_source": { "user" : "張三", "title" : "工程師", "desc" : "數(shù)據(jù)庫管理营袜，軟件開發(fā)" } } ] } }
Elastic 默認(rèn)一次返回10條結(jié)果撒顿，可以通過size字段改變這個設(shè)置。
$ curl 'localhost:9200/accounts/person/_search' -d ' { "query" : { "match" : { "desc" : "管理" }}, "size": 1 }'
上面代碼指定荚板，每次只返回一條結(jié)果凤壁。
還可以通過from字段，指定位移跪另。
$ curl 'localhost:9200/accounts/person/_search' -d ' { "query" : { "match" : { "desc" : "管理" }}, "from": 1, "size": 1 }'
上面代碼指定拧抖，從位置1開始（默認(rèn)是從位置0開始），只返回一條結(jié)果免绿。
6.3 邏輯運算
如果有多個搜索關(guān)鍵字唧席， Elastic 認(rèn)為它們是or關(guān)系。
$ curl 'localhost:9200/accounts/person/_search' -d ' { "query" : { "match" : { "desc" : "軟件 系統(tǒng)" }} }'
上面代碼搜索的是軟件 or 系統(tǒng)。
如果要執(zhí)行多個關(guān)鍵詞的and搜索淌哟，必須使用布爾查詢迹卢。
$ curl 'localhost:9200/accounts/person/_search' -d ' { "query": { "bool": { "must": [ { "match": { "desc": "軟件" } }, { "match": { "desc": "系統(tǒng)" } } ] } } }'
七、其他命令
