1、嘗試對field執(zhí)行aggregation
GET /test_index/test_type/_search
{
"aggs": {
"group_by_test_field": {
"terms": {
"field": "test_field1"
}
}
}
}
報錯
{
"error": {
"root_cause": [
{
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [test_field1] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory."
}
],
"type": "search_phase_execution_exception",
"reason": "all shards failed",
"phase": "query",
"grouped": true,
"failed_shards": [
{
"shard": 0,
"index": "test_index",
"node": "rrFOnCB3RwqKOxaIeyLnUw",
"reason": {
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [test_field1] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory."
}
}
],
"caused_by": {
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [test_field1] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory."
}
},
"status": 400
}
對分詞的field隘道，直接執(zhí)行聚合操作症歇，會報錯，大概意思是說谭梗，你必須要打開fielddata忘晤，然后將正排索引數(shù)據(jù)加載到內(nèi)存中，才可以對分詞的field執(zhí)行聚合操作激捏，而且會消耗很大的內(nèi)存设塔。
2、給分詞的field設(shè)置fielddata=true
POST /test_index/_mapping/test_type
{
"properties": {
"test_field1" : {
"type": "text",
"fielddata": true
}
}
}
執(zhí)行搜索
GET /test_index/test_type/_search
{
"size": 0,
"aggs": {
"group_by_test_field": {
"terms": {
"field": "test_field1"
}
}
}
}
輸出結(jié)果
{
"took": 23,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
},
"hits": {
"total": 2,
"max_score": 0,
"hits": []
},
"aggregations": {
"group_by_test_field": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "test",
"doc_count": 2
}
]
}
}
}
發(fā)現(xiàn)成功了缩幸，所以必須將fielddata設(shè)置為true壹置。
3、使用內(nèi)置field不分詞表谊，對string field進行聚合
GET /test_index/test_type/_search
{
"size": 0,
"aggs": {
"group_by_test_field": {
"terms": {
"field": "test_field1.keyword"
}
}
}
}
發(fā)現(xiàn)這樣也可以成功钞护，所以如果對不分詞的field執(zhí)行聚合搜索，直接就可以執(zhí)行爆办，不需要設(shè)置fielddata=true
4难咕、分詞field+fielddata的工作原理
doc value --》不分詞的所有field，可以執(zhí)行聚合操作--》如果你的某個field不分詞距辆，那么在index-time就會自動生成doc value--》針對這些不分詞的field執(zhí)行聚合操作的時候余佃，自動就會用doc value來執(zhí)行
分詞field，是沒有doc vakue的跨算，在index-time如果某個field是分詞的爆土，那么是不會給他建立doc value正排索引的。因為分詞后诸蚕，占用的空間過于大步势，所以默認(rèn)是不支持分詞field進行聚合的氧猬。
分詞field默認(rèn)沒有doc value，所以直接對分詞field執(zhí)行聚合操作坏瘩，是會報錯的
對于分詞field盅抚，必須打開和使用fielddata，完全存在于純內(nèi)存中倔矾。妄均。。結(jié)構(gòu)和doc value類似哪自。丰包。。如果是ngram或者是大量term提陶，那么必將占用大量的內(nèi)存烫沙。。隙笆。
如果一定要對分詞的field執(zhí)行聚合，那么必須將fielddata=true升筏，然后es就會在執(zhí)行聚合操作的時候撑柔，現(xiàn)場將field對應(yīng)的數(shù)據(jù)，建立一份fielddata正排索引您访，fielddata正排索引的結(jié)構(gòu)跟doc value是類似的铅忿，但是只會將fielddata正排索引加載到內(nèi)存中來，然后基于內(nèi)存中的fielddata正排索引執(zhí)行分詞field的聚合操作
如果直接對分詞field執(zhí)行聚合灵汪，報錯檀训，才會讓我們開啟fielddata=true，告訴我們享言，會將fielddata uninverted index峻凫，正排索引，加載到內(nèi)存览露，會耗費內(nèi)存空間
為什么fielddata必須在內(nèi)存荧琼？因為大家自己思考一下，分詞的字符串差牛，需要按照term進行聚合命锄，需要執(zhí)行更加復(fù)雜的算法和操作，如果基于磁盤和os cache偏化，那么性能會很差
fielddata和doc value不一樣脐恩，fielddata在內(nèi)存中的，doc vlaue是加載到磁盤的
若有興趣侦讨，歡迎來加入群驶冒，【Java初學(xué)者學(xué)習(xí)交流群】：458430385析孽，此群有Java開發(fā)人員、UI設(shè)計人員和前端工程師只怎。有問必答袜瞬，共同探討學(xué)習(xí)，一起進步身堡！
歡迎關(guān)注我的微信公眾號【Java碼農(nóng)社區(qū)】邓尤，會定時推送各種干貨：
