ElasticSearch-相關(guān)性

1.相關(guān)性簡(jiǎn)介

默認(rèn)情況下,返回結(jié)果是按相關(guān)性倒序排列的胎围。 但是什么是相關(guān)性吁系? 相關(guān)性如何計(jì)算德召?

每個(gè)文檔都有相關(guān)性評(píng)分,用一個(gè)相對(duì)的浮點(diǎn)數(shù)字段?_score?來表示 --?_score?的評(píng)分越高汽纤,相關(guān)性越高上岗。

查詢語句會(huì)為每個(gè)文檔添加一個(gè)?_score?字段。評(píng)分的計(jì)算方式取決于不同的查詢類型 -- 不同的查詢語句用于不同的目的:fuzzy?查詢會(huì)計(jì)算與關(guān)鍵詞的拼寫相似程度冒版,terms查詢會(huì)計(jì)算 找到的內(nèi)容與關(guān)鍵詞組成部分匹配的百分比液茎,但是一般意義上我們說的全文本搜索是指計(jì)算內(nèi)容與關(guān)鍵詞的類似程度。

ElasticSearch的相似度算法被定義為 TF/IDF辞嗡,即檢索詞頻率/反向文檔頻率捆等,包括以下內(nèi)容:

a.檢索詞頻率:

檢索詞在該字段出現(xiàn)的頻率?出現(xiàn)頻率越高续室,相關(guān)性也越高栋烤。 字段中出現(xiàn)過5次要比只出現(xiàn)過1次的相關(guān)性高。

b.反向文檔頻率:

每個(gè)檢索詞在索引中出現(xiàn)的頻率挺狰?頻率越高明郭,相關(guān)性越低。 檢索詞出現(xiàn)在多數(shù)文檔中會(huì)比出現(xiàn)在少數(shù)文檔中的權(quán)重更低丰泊, 即檢驗(yàn)一個(gè)檢索詞在文檔中的普遍重要性薯定。

c.字段長(zhǎng)度準(zhǔn)則:

字段的長(zhǎng)度是多少?長(zhǎng)度越長(zhǎng)瞳购,相關(guān)性越低话侄。 檢索詞出現(xiàn)在一個(gè)短的?title?要比同樣的詞出現(xiàn)在一個(gè)長(zhǎng)的?content?字段評(píng)分高。

單個(gè)查詢可以使用TF/IDF評(píng)分標(biāo)準(zhǔn)或其他方式学赛,比如短語查詢中檢索詞的距離或模糊查詢里的檢索詞相似度年堆。

相關(guān)性并不只是全文本檢索的專利。也適用于yes|no的子句盏浇,匹配的子句越多变丧,相關(guān)性評(píng)分越高。

如果多條查詢子句被合并為一條復(fù)合查詢語句绢掰,比如?bool?查詢痒蓬,則每個(gè)查詢子句計(jì)算得出的評(píng)分會(huì)被合并到總的相關(guān)性評(píng)分中。

2.理解評(píng)分標(biāo)準(zhǔn)

當(dāng)調(diào)試一條復(fù)雜的查詢語句時(shí)滴劲,想要理解相關(guān)性評(píng)分?_score?是比較困難的攻晒。ElasticSearch 在 每個(gè)查詢語句中都有一個(gè)explain參數(shù),將?explain?設(shè)為?true?就可以得到更詳細(xì)的信息哑芹。

<1>?explain?參數(shù)可以讓返回結(jié)果添加一個(gè)?_score?評(píng)分的得來依據(jù)捕透。

首先碴萧,我們看一下普通查詢返回的元數(shù)據(jù):

這里加入了該文檔來自于哪個(gè)節(jié)點(diǎn)哪個(gè)分片上的信息,這對(duì)我們是比較有幫助的末购,因?yàn)樵~頻率和 文檔頻率是在每個(gè)分片中計(jì)算出來的破喻,而不是每個(gè)索引中:

然后返回值中的?_explanation?會(huì)包含在每一個(gè)入口,告訴你采用了哪種計(jì)算方式盟榴,并讓你知道計(jì)算的結(jié)果以及其他詳情:

<1>?honeymoon?相關(guān)性評(píng)分計(jì)算的總結(jié)

<2> 檢索詞頻率

<3> 反向文檔頻率

<4> 字段長(zhǎng)度準(zhǔn)則

注:輸出?explain?結(jié)果代價(jià)是十分昂貴的曹质,它只能用作調(diào)試工具 --千萬不要用于生產(chǎn)環(huán)境。

第一部分是關(guān)于計(jì)算的總結(jié)擎场。告訴了我們?"honeymoon"?在?tweet字段中的檢索詞頻率/反向文檔頻率或 TF/IDF羽德。

然后解釋了計(jì)算的權(quán)重是如何計(jì)算出來的:

檢索詞頻率:

檢索詞 `honeymoon` 在 `tweet` 字段中的出現(xiàn)次數(shù)。

反向文檔頻率:

檢索詞 `honeymoon` 在 `tweet` 字段在當(dāng)前文檔出現(xiàn)次數(shù)與索引中其他文檔的出現(xiàn)總數(shù)的比率迅办。

字段長(zhǎng)度準(zhǔn)則:

文檔中 `tweet` 字段內(nèi)容的長(zhǎng)度 -- 內(nèi)容越長(zhǎng)宅静,值越小。

復(fù)雜的查詢語句解釋也非常復(fù)雜站欺,但是包含的內(nèi)容與上面例子大致相同姨夹。 通過這段描述我們可以了解搜索結(jié)果是如何產(chǎn)生的船响。

3.Explain Api

當(dāng)explain選項(xiàng)加到某一文檔上時(shí)辩诞,它會(huì)告訴你為何這個(gè)文檔會(huì)被匹配树灶,以及一個(gè)文檔為何沒有被匹配锅劝。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末拴泌,一起剝皮案震驚了整個(gè)濱河市杆怕,隨后出現(xiàn)的幾起案子捷绑,更是在濱河造成了極大的恐慌吁朦,老刑警劉巖榄鉴,帶你破解...
    沈念sama閱讀 218,204評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件履磨,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡庆尘,警方通過查閱死者的電腦和手機(jī)剃诅,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,091評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來驶忌,“玉大人矛辕,你說我怎么就攤上這事「赌В” “怎么了聊品?”我有些...
    開封第一講書人閱讀 164,548評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)几苍。 經(jīng)常有香客問我翻屈,道長(zhǎng),這世上最難降的妖魔是什么妻坝? 我笑而不...
    開封第一講書人閱讀 58,657評(píng)論 1 293
  • 正文 為了忘掉前任伸眶,我火速辦了婚禮惊窖,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘厘贼。我一直安慰自己界酒,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,689評(píng)論 6 392
  • 文/花漫 我一把揭開白布毁欣。 她就那樣靜靜地躺著岳掐,像睡著了一般。 火紅的嫁衣襯著肌膚如雪哭尝。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,554評(píng)論 1 305
  • 那天材鹦,我揣著相機(jī)與錄音桶唐,去河邊找鬼茉兰。 笑死,一個(gè)胖子當(dāng)著我的面吹牛规脸,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播闹丐,決...
    沈念sama閱讀 40,302評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼卿拴,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了堕花?” 一聲冷哼從身側(cè)響起粥鞋,我...
    開封第一講書人閱讀 39,216評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎杠袱,沒想到半個(gè)月后窝稿,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體凿掂,經(jīng)...
    沈念sama閱讀 45,661評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡踪少,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,851評(píng)論 3 336
  • 正文 我和宋清朗相戀三年糠涛,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片集漾。...
    茶點(diǎn)故事閱讀 39,977評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡具篇,死狀恐怖凌埂,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情瞳抓,我是刑警寧澤,帶...
    沈念sama閱讀 35,697評(píng)論 5 347
  • 正文 年R本政府宣布栓霜,位于F島的核電站叙淌,受9級(jí)特大地震影響愁铺,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜茵乱,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,306評(píng)論 3 330
  • 文/蒙蒙 一瓶竭、第九天 我趴在偏房一處隱蔽的房頂上張望渠羞。 院中可真熱鬧次询,春花似錦瓷叫、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,898評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至煮寡,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間武花,已是汗流浹背杈帐。 一陣腳步聲響...
    開封第一講書人閱讀 33,019評(píng)論 1 270
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留累铅,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,138評(píng)論 3 370
  • 正文 我出身青樓娃兽,卻偏偏與公主長(zhǎng)得像投储,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子玛荞,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,927評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容