16掩浙、修改以及定制分詞器花吟,root object簡(jiǎn)單說(shuō)明, dynamic mapping(動(dòng)態(tài)映射)

主要內(nèi)容: 修改以及定制分詞器厨姚,root object簡(jiǎn)單說(shuō)明衅澈, dynamic mapping(動(dòng)態(tài)映射)

1、修改以及定制分詞器

1.1谬墙、默認(rèn)的分詞器 standard

standard tokenizer:以單詞邊界進(jìn)行切分
standard token filter:什么都不做
lowercase token filter:將所有字母轉(zhuǎn)換為小寫(xiě)
stop token filer(默認(rèn)被禁用):移除停用詞今布,比如a、the拭抬、 it等等

1.2部默、修改分詞器的設(shè)置

啟用 english的停用詞token filter

PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "es_std": {
          "type": "standard",
          "stopwords": "_english_"
        }
      }
    }
  }
}

? 可以試著運(yùn)行下列兩個(gè)方法,觀察區(qū)別

GET /my_index/_analyze
{
  "analyzer": "standard", 
  "text": "a dog is in the house"
}

GET /my_index/_analyze
{
  "analyzer": "es_std",
  "text":"a dog is in the house"
}
1.3造虎、定制化自己的分詞器
PUT /my_index
{
  "settings": {
    "analysis": {
      "char_filter": { //自定義一個(gè)char_filter 傅蹂,將&符號(hào)轉(zhuǎn)化為and
        "&_to_and": {
          "type": "mapping",
          "mappings": [
            "&=> and"   
          ]
        }
      },
      "filter": {   //自定義停用詞,
        "my_stopwords": {
          "type": "stop",
          "stopwords": [
            "the",     // the a 為停用詞
            "a"
          ]
        }
      },
      "analyzer": {   自定義分詞器
        "my_analyzer": {
          "type": "custom",
          "char_filter": [
            "html_strip",
            "&_to_and"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "my_stopwords"
          ]
        }
      }
    }
  }
}

測(cè)試一下算凿,觀察結(jié)果

GET /my_index/_analyze
{
  "text": "tom&jerry are a friend in the house, <a>, HAHA!!",
  "analyzer": "my_analyzer"
}

使用自己定義的分詞器

PUT /my_index/_mapping
{
  "properties": {
    "content": {   //對(duì)content字段使用自定義的分詞器
      "type": "text",
      "analyzer": "my_analyzer" 
    }
  }
}

2份蝴、root object

2.1、root object概念

就是某個(gè)type對(duì)應(yīng)的mapping json氓轰,包括了properties婚夫,metadata(_id,_source署鸡,_type)案糙,settings(analyzer),其他settings(比如include_in_all)

PUT /my_index
{
  "mappings": {
    "my_type": {
      "properties": {}
    }
  }
}
2.2靴庆、properties

type时捌,index,analyzer

PUT /my_index/_mapping/
{
  "properties": {
    "title": {
      "type": "text"
    }
  }
}
2.3撒穷、_source

好處

(1)查詢的時(shí)候匣椰,直接可以拿到完整的document,不需要先拿document id端礼,再發(fā)送一次請(qǐng)求拿document
(2)partial update基于_source實(shí)現(xiàn)
(3)reindex時(shí)禽笑,直接基于_source實(shí)現(xiàn)入录,不需要從數(shù)據(jù)庫(kù)(或者其他外部存儲(chǔ))查詢數(shù)據(jù)再修改
(4)可以基于_source定制返回field
(5)debug query更容易,因?yàn)榭梢灾苯涌吹絖source

如果不需要上述好處佳镜,可以禁用_source

PUT /my_index/_mapping
{
  "_source": {
    "enabled": false
  }
}
2.4僚稿、_all

將所有field打包在一起,作為一個(gè)_all field蟀伸,建立索引蚀同。沒(méi)指定任何field進(jìn)行搜索時(shí),就是使用_all field在搜索啊掏。

···

PUT /my_index/_mapping/my_type3
{
"_all": {"enabled": false}
}

也可以在field級(jí)別設(shè)置include_in_all field蠢络,設(shè)置是否要將field的值包含在_all field中

PUT /my_index/_mapping/my_type4
{
"properties": {
"my_field": {
"type": "text",
"include_in_all": false
}
}
}

3、dynamic mapping定制化策略

3.1迟蜜、定制dynamic策略

true:遇到陌生字段刹孔,就進(jìn)行dynamic mapping
false:遇到陌生字段,就忽略
strict:遇到陌生字段娜睛,就報(bào)錯(cuò)

PUT /my_index
{
  "mappings": {
    "dynamic": "strict",
    "properties": {
      "title": {
        "type": "text"
      },
      "address": {
        "type": "object",
        "dynamic": "true"
      }
    }
  }
}

嘗試插入content字段髓霞,會(huì)提示content字段不被允許

PUT /my_index/_doc/1
{
  "title": "my article",
  "content": "this is my article",
  "address": {
    "province": "guangdong",
    "city": "guangzhou"
  }
}

address字段則沒(méi)有這個(gè)問(wèn)題,因?yàn)樵O(shè)為dynamic畦戒,可以動(dòng)態(tài)插入

PUT /my_index/my_type/1
{
  "title": "my article",
  "address": {
    "province": "guangdong",
    "city": "guangzhou"
  }
}
3.2 定制dynamic maping策略

(1)date_detection

默認(rèn)會(huì)按照一定格式識(shí)別date方库,比如yyyy-MM-dd。但是如果某個(gè)field先過(guò)來(lái)一個(gè)2017-01-01的值障斋,就會(huì)被自動(dòng)dynamic mapping成date纵潦,后面如果再來(lái)一個(gè)"hello world"之類(lèi)的值,就會(huì)報(bào)錯(cuò)垃环±掖可以手動(dòng)關(guān)閉某個(gè)index的date_detection,如果有需要晴裹,自己手動(dòng)指定某個(gè)field為date類(lèi)型。

PUT /my_index/_mapping
{
    "date_detection": false
}

(2)定制自己的dynamic mapping template(type level)(動(dòng)態(tài)映射模板)

PUT my_index
{
  "mappings": {
    "dynamic_templates": [
      {
        "longs_as_strings": {
          "match_mapping_type": "string",
          "match":   "long_*",
          "unmatch": "*_text",
          "mapping": {
            "type": "long"
          }
        }
      }
    ]
  }
}

插入數(shù)據(jù)

PUT my_index/_doc/1
{
  "long_num": "5", 
  "long_text": "foo" 
}

long_num會(huì)轉(zhuǎn)化成long

long_text會(huì)是默認(rèn)的string

更多操作參見(jiàn)官方文檔

Dynamic templates | Elasticsearch Reference [7.6] | Elastic https://www.elastic.co/guide/en/elasticsearch/reference/7.6/dynamic-templates.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末救赐,一起剝皮案震驚了整個(gè)濱河市涧团,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌经磅,老刑警劉巖泌绣,帶你破解...
    沈念sama閱讀 211,376評(píng)論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異预厌,居然都是意外死亡阿迈,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,126評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門(mén)轧叽,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)苗沧,“玉大人刊棕,你說(shuō)我怎么就攤上這事〈眩” “怎么了甥角?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,966評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)识樱。 經(jīng)常有香客問(wèn)我嗤无,道長(zhǎng),這世上最難降的妖魔是什么怜庸? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,432評(píng)論 1 283
  • 正文 為了忘掉前任当犯,我火速辦了婚禮,結(jié)果婚禮上割疾,老公的妹妹穿的比我還像新娘嚎卫。我一直安慰自己,他們只是感情好杈曲,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,519評(píng)論 6 385
  • 文/花漫 我一把揭開(kāi)白布驰凛。 她就那樣靜靜地躺著,像睡著了一般担扑。 火紅的嫁衣襯著肌膚如雪恰响。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,792評(píng)論 1 290
  • 那天涌献,我揣著相機(jī)與錄音胚宦,去河邊找鬼。 笑死燕垃,一個(gè)胖子當(dāng)著我的面吹牛枢劝,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播卜壕,決...
    沈念sama閱讀 38,933評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼您旁,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了轴捎?” 一聲冷哼從身側(cè)響起鹤盒,我...
    開(kāi)封第一講書(shū)人閱讀 37,701評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎侦副,沒(méi)想到半個(gè)月后侦锯,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,143評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡秦驯,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,488評(píng)論 2 327
  • 正文 我和宋清朗相戀三年尺碰,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,626評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡亲桥,死狀恐怖洛心,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情两曼,我是刑警寧澤皂甘,帶...
    沈念sama閱讀 34,292評(píng)論 4 329
  • 正文 年R本政府宣布,位于F島的核電站悼凑,受9級(jí)特大地震影響偿枕,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜户辫,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,896評(píng)論 3 313
  • 文/蒙蒙 一渐夸、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧渔欢,春花似錦墓塌、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,742評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至垫挨,卻和暖如春韩肝,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背九榔。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,977評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工哀峻, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人哲泊。 一個(gè)月前我還...
    沈念sama閱讀 46,324評(píng)論 2 360
  • 正文 我出身青樓剩蟀,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親切威。 傳聞我的和親對(duì)象是個(gè)殘疾皇子育特,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,494評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容