近似匹配
1、什么是近似匹配
兩個句子
java is my favourite programming language, and I also think spark is a very good big data system.
java spark are very related, because scala is spark's programming language and scala is also based on jvm like java.
match query儿奶,搜索java spark
{
"match": {
"content": "java spark"
}
}
match query,只能搜索到包含java和spark的document梗醇,但是不知道java和spark是不是離的很近
包含java或包含spark知允,或包含java和spark的doc,都會被返回回來叙谨。我們其實并不知道哪個doc温鸽,java和spark距離的比較近。如果我們就是希望搜索java spark手负,中間不能插入任何其他的字符涤垫,那這個時候match去做全文檢索,能搞定我們的需求嗎竟终?答案是蝠猬,搞不定。
如果我們要盡量讓java和spark離的很近的document優(yōu)先返回统捶,要給它一個更高的relevance score榆芦,這就涉及到了proximity match,近似匹配
如果說喘鸟,要實現(xiàn)兩個需求:
1匆绣、java spark,就靠在一起什黑,中間不能插入任何其他字符崎淳,就要搜索出來這種doc
2、java spark兑凿,但是要求凯力,java和spark兩個單詞靠的越近茵瘾,doc的分數(shù)越高礼华,排名越靠前
要實現(xiàn)上述兩個需求,用match做全文檢索拗秘,是搞不定的圣絮,必須得用proximity match,近似匹配
phrase match雕旨,proximity match:短語匹配扮匠,近似匹配
這一講,要學習的是phrase match凡涩,就是僅僅搜索出java和spark靠在一起的那些doc棒搜,比如有個doc,是java use'd spark活箕,不行力麸。必須是比如java spark are very good friends,是可以搜索出來的。
phrase match克蚂,就是要去將多個term作為一個短語闺鲸,一起去搜索,只有包含這個短語的doc才會作為結果返回埃叭。不像是match摸恍,java spark,java的doc也會返回赤屋,spark的doc也會返回立镶。
2、match_phrase
GET /forum/article/_search
{
"query": {
"match": {
"content": "java spark"
}
}
}
單單包含java的doc也返回了益缎,不是我們想要的結果
POST /forum/article/5/_update
{
"doc": {
"content": "spark is best big data solution based on scala ,an programming language similar to java spark"
}
}
將一個doc的content設置為恰巧包含java spark這個短語
match_phrase語法
GET /forum/article/_search
{
"query": {
"match_phrase": {
"content": "java spark"
}
}
}
成功了谜慌,只有包含java spark這個短語的doc才返回了,只包含java的doc不會返回
3莺奔、term position
hello world, java spark doc1
hi, spark java doc2
hello doc1(0)
wolrd doc1(1)
java doc1(2) doc2(2)
spark doc1(3) doc2(1)
了解什么是分詞后的position
GET _analyze
{
"text": "hello world, java spark",
"analyzer": "standard"
}
4欣范、match_phrase的基本原理
索引中的position,match_phrase
hello world, java spark doc1
hi, spark java doc2
hello doc1(0)
wolrd doc1(1)
java doc1(2) doc2(2)
spark doc1(3) doc2(1)
java spark --> match phrase
java spark --> java和spark
java --> doc1(2) doc2(2)
spark --> doc1(3) doc2(1)
要找到每個term都在的一個共有的那些doc令哟,就是要求一個doc恼琼,必須包含每個term,才能拿出來繼續(xù)計算
doc1 --> java和spark --> spark position恰巧比java大1 --> java的position是2屏富,spark的position是3晴竞,恰好滿足條件
doc1符合條件
doc2 --> java和spark --> java position是2,spark position是1狠半,spark position比java position小1噩死,而不是大1 --> 光是position就不滿足,那么doc2不匹配
必須理解這塊原理I衲辍R盐!已日!
因為后面的proximity match就是原理跟這個一模一樣6舛!飘千!