一 分詞器
- Character Filter
針對原始文本進行處理，比如去除html特殊標記符舆逃； - Tokenized
將原始文本按照一切規(guī)則切分單詞； - Token Filter
針對tokenizer處理的單詞進行加工，比如轉換小寫等犯戏；
二 Analyze API
- analyze api
常用來測試/驗證分詞效果
##直接指定analyzer進行測試
POST _analyze
{
"analyzer": "standard",
"text":"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
##直接指定索引中的字段進行測試
POST test_index/_analyze
{
"field": "username",
"text":"hello world!"
}
##自定義分詞器進行測試
POST _analyze
{
"tokenizer": "standard",
"filter": [ "lowercase" ,"shingle","reverse"],
"text":"a beauty Hello World!"
}
三 自帶分詞器
Standard Analyzer: 默認分詞器固蚤，按次切分娘汞，小寫處理；
Simple Analyzer: 按照非字母切分夕玩，小寫處理你弦；
Whitespace Analyzer: 按照空格進行切分；
Stop Analyzer:Stop Word指語氣助詞等修飾性的詞語燎孟，比如the/an等禽作，比Simple Analyzer多了個Stop Word；
Keyword Analyzer:不分詞缤弦，直接將輸入作為一個單詞輸出领迈；
Pattern Analyzer:通過正則表達式自定義分隔符，默認時\W+碍沐，即非字詞的符號作為分隔符狸捅；
Langauge Analyzer:提供30+常見語言的分詞器；
四 自定義分詞
PUT test_index_1
{
"settings": {
"analysis": {
"analyzer": {
"my_custom_analyzer": {
"type": "custom",
"tokenizer": "standard", ##標準
"char_filter": [
"html_strip"
],
"filter": [
"lowercase",
"asciifolding"
]
}
}
}
}
}
POST test_index_1/_analyze
{
"analyzer": "my_custom_analyzer",
"text": "Is this <b>a box</b>?"
}
PUT test_index_2
{
"settings": {
"analysis": {
"analyzer": {
"my_custom_analyzer": {
"type": "custom",
"char_filter": [
"emoticons"
],
"tokenizer": "punctuation",
"filter": [
"lowercase",
"english_stop"
]
}
},
"tokenizer": {
"punctuation": {
"type": "pattern",
"pattern": "[ .,!?]"
}
},
"char_filter": {
"emoticons": {
"type": "mapping",
"mappings": [
":) => _happy_",
":( => _sad_"
]
}
},
"filter": {
"english_stop": {
"type": "stop",
"stopwords": "_english_"
}
}
}
}
}
POST test_index_2/_analyze
{
"analyzer": "my_custom_analyzer",
"text": "I'm a :) person, and you?"
}
五 倒排索引
倒排索引是搜索引擎的核心累提，主要包含兩部分尘喝，分別是單詞詞典和倒排列表；
- 單詞詞典
1-記錄所有文檔的單詞斋陪，一般都比較大朽褪；
2-記錄單詞到倒排列表的關聯(lián)信息置吓；
3-單詞字典的實現(xiàn)一般是B+ Tree；
- 倒排列表
記錄單詞對應的文檔集合缔赠，由倒排索引項組成衍锚；
1-文檔Id，用于獲取原始信息嗤堰；
2-單詞頻率(TF戴质，Term Frequency)，記錄單詞在文檔中的出現(xiàn)次數(shù)踢匣，用于相關性算分告匠；
3-位置(Position)，記錄單詞在文檔中的分詞位置离唬，用于做詞語搜索后专；
4-偏移(Offset), 記錄單詞在文檔中的開始和結束位置，用于高亮顯示输莺；
- Segment
單個倒排索引稱為segment戚哎，合并在一起稱為一個Index，即一個shard嫂用，shard中通過commit point記錄所有的segment建瘫；
倒排索引文件一旦生成，不可更改尸折；
優(yōu)勢：
1-不考慮并發(fā)寫文件問題，杜絕鎖機制帶來的性能問題殷蛇；
2-利用不可更改性实夹，只需載入一次；
3-利于對文件進行壓縮粒梦，節(jié)省磁盤空間亮航；
劣勢：
1-添加新文檔時，必須重建倒排索引文件匀们，替換舊文件缴淋；
方案：
1-添加新文檔時，生成新的倒排索引文件泄朴，查詢時同時查詢所有的倒排索引文件重抖，做結果匯總即可；
補充：
1-ES中每個字段都有自己的倒排索引文件祖灰；
