一 Query-then-Fetch
分布式三個(gè)節(jié)點(diǎn)node1/node2/node3辽装，分片分別為p1/p2/p3勺疼，副本分別為r1/r2/r3，node3接受請(qǐng)求GET text_index/_search飞蹂，執(zhí)行流程如下：
----query phase
1-node3在6個(gè)主副分片上隨機(jī)選擇3個(gè)分片宽闲，發(fā)送search request請(qǐng)求秆乳；
2-被選中的3個(gè)分片分別執(zhí)行查詢，返回from+size個(gè)文檔id和排序值纪铺；
3-node3整合3個(gè)分片返回的3份from+size個(gè)文檔id相速，根據(jù)排序值選取from到from+size的文檔id；
----fetch phase
4-node3根據(jù)query階段獲取的文檔id列表到對(duì)應(yīng)的分片上獲取文檔詳細(xì)數(shù)據(jù)霹陡；
二 相關(guān)性算分
- 相關(guān)性算分在shard與shard間相互獨(dú)立和蚪，即同一個(gè)term的IDF值在不同的shard上不相同；
- 文檔數(shù)量不多時(shí)烹棉，導(dǎo)致相關(guān)性算分嚴(yán)重不準(zhǔn)確攒霹；
- 解決方案一，設(shè)置分片數(shù)為1浆洗，文檔數(shù)量不多時(shí)可以考慮催束；
- 解決方案二，DFS Query-then-Fetch 拿到所有文檔后重新完整計(jì)算一次相關(guān)性得分伏社，極度耗費(fèi)資源抠刺；
GET test_search_relevance/_search?search_type=dfs_query_then_fetch
三 排序
GET test_search_index/_search
{
"query":{
"match": {
"username": "alfred"
}
},
"sort": [
{
"birth": "desc" ##按照生日降序排序
},
{
"_score": "desc" ##按章相關(guān)性算分降序排序
},
{
"_doc": "desc" ##按照文檔內(nèi)部id塔淤，與創(chuàng)建順序有關(guān)
}
]
}
- text和keyword
fielddata默認(rèn)關(guān)閉，按照text類型排序報(bào)錯(cuò)速妖，使用keyword類型排序高蜂；
GET test_search_index/_search
{
"sort": [
{
"username": "asc" ##報(bào)錯(cuò)，F(xiàn)ielddata is disabled on text fields by default
}
]
}
GET test_search_index/_search
{
"sort":{
"username.keyword":"desc" ##可以排序
}
}
- fielddata
默認(rèn)關(guān)閉罕容，可以隨時(shí)打開(kāi)和關(guān)閉备恤，只對(duì)text類型有用，一般在對(duì)分詞做聚合分析時(shí)開(kāi)啟锦秒；
## fielddata:默認(rèn)關(guān)閉
PUT test_search_index/_mapping/doc
{
"properties": {
"job":{
"type":"text",
"fielddata": true
}
}
}
## 僅對(duì)text字段有效
PUT test_search_index/_mapping/doc
{
"properties": {
"username":{
"type":"text",
"fielddata": false
},
"age":{
"type":"long",
"fielddata": true
}
}
}
- doc values
默認(rèn)啟用露泊，創(chuàng)建索引時(shí)可以關(guān)閉，若再次開(kāi)啟旅择，需要reindex操作惭笑；
PUT test_doc_values1/
{
"mappings": {
"doc": {
"properties": {
"username": {
"type": "keyword",
"doc_values": false
}
}
}
}
}
PUT test_doc_values/doc/1
{
"username":"alfred",
"hobby":"basketball"
}
##已經(jīng)關(guān)閉doc values不能開(kāi)啟
GET test_doc_values/_search
{
"sort":"username"
}
##可以啟用
GET test_doc_values/_search
{
"sort":"hobby"
}
四 分頁(yè)
- from/size
在數(shù)據(jù)分片存儲(chǔ)情況下如何獲取前1000個(gè)文檔？
每個(gè)分片上獲取1000個(gè)文檔生真，然后聚合所有分片上的1000個(gè)文檔最后排序取前1000個(gè)文檔沉噩；
Es通過(guò)index.max_result_window限定最多到10000條數(shù)據(jù)；
GET test_search_index/_search
{
"from":10000, ##Result window is too large, from + size must is less than or equal to [10000] but [10002]
"size":2
}
- scroll
遍歷文檔集汇歹，以快照的方式避免深度分頁(yè)問(wèn)題屁擅；
不能用來(lái)做實(shí)時(shí)搜素，因?yàn)閿?shù)據(jù)不是實(shí)時(shí)的产弹；
新添加的文檔不能被 使用派歌；
GET test_search_index/_search?scroll=5m
{
"size":1
}
POST _search/scroll
{
"scroll" : "5m",
##調(diào)用時(shí)使用上一次返回時(shí)的scroll_id
"scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAABswWX3FLSTZFOF9URFdqWHlvX3gtYmhtdw=="
}
##新添加的文檔在scroll中不能使用
PUT test_search_index/doc/10
{
"username":"doc10"
}
- search_after
避免深度分頁(yè)性能問(wèn)題，提供實(shí)時(shí)的下一頁(yè)文檔獲取功能痰哨；
不能使用from胶果，只能下一頁(yè)；
##第一步斤斧，指定sort值早抠，且為唯一
GET test_search_index/_search
{
"size":1,
"sort":{
"age":"desc",
"_id":"desc"
}
}
##第二步，使用上一次查詢的最后一個(gè)文檔的sort值進(jìn)行查詢
GET test_search_index/_search
{
"size":1,
"search_after":[23,"4"],
"sort":{
"age":"desc",
"_id":"desc"
}
}
