論文：http://sigir-ecom.weebly.com/uploads/1/0/2/9/102947274/paper_8.pdf
問題
有些query其實(shí)在eBay上有很多相關(guān)的商品养铸，但是這些query搜索返回的結(jié)果沒有或很少。
模型
用更激進(jìn)的query改寫來搜索返回更多的商品
用query改寫系統(tǒng)將原始query標(biāo)準(zhǔn)化成多個(gè)替代query來提升召回率轧膘，并且保證不改變真實(shí)搜索意圖钞螟。
去掉不重要term的算法
適用長query
將長query縮短成多個(gè)短的候選query來提高召回率，并且保證與原始query意圖保持一致
- query理解
(1) 從eBay的結(jié)構(gòu)化目錄中挖掘出實(shí)體字典
(2) 與字典匹配識別出實(shí)體：包括商品品牌谎碍、商品名稱鳞滨、顏色、材料蟆淀、型號拯啦、度量單位
(3) 對term進(jìn)行詞性標(biāo)注
(4) 從用戶query日志中挖掘出詞組phrase，保證同一phrase里的term同時(shí)去掉或者同時(shí)保留 - 生成候選改寫
第一級：商品品牌熔任、商品名褒链、第一個(gè)名詞詞組phrase
第二級：商品屬性（顏色、材料）、度量單位、形容詞
第三級：停用詞也榄、連接詞
拼接組合第一級和第二級生成改寫query，相當(dāng)于去掉不重要的第三極term - 多個(gè)候選改寫排序
打分算法
商品品牌消歧
存在商品品牌歧義問題兵迅，如"white"或者"1928"
B是q的某一個(gè)term，P(B|q)表示q中的term B是商品品牌的概率
C_i是第i個(gè)購物類別薪贫，其實(shí)是隱變量恍箭。
P(B|C_i)可以直接從eBay的存貨清單中計(jì)算出來
打分算法
考慮因素：改寫后query的長度、質(zhì)量
包含更多品牌或名詞的改寫query要比包含更多形容詞的改寫query的得分要高
總得分計(jì)算公式
score=w1 * tagging score+w2 * click score
其中的權(quán)重w1瞧省、w2是最大化discounted cumulative gain (DCG)的優(yōu)化結(jié)果
tagging score是給評為這個(gè)tag的所有item都打固定的分?jǐn)?shù)
因?yàn)樗阉鞣祷厣唐窙]有或很少的query扯夭，很多都包含拼寫錯(cuò)誤的單詞鳍贾。所以用交叉熵來計(jì)算click score，然后根據(jù)分值來排序
其中r是query中token搜索返回文檔數(shù)交洗。P(click|r)是從搜索沒有返回商品的query的大量樣本中計(jì)算出來的
替換term的算法
適用短query
從用戶行為和語言模型中學(xué)出term替換算法
query q0=(w1,...,wm),包含m個(gè)單詞
從用戶行為日志中為每個(gè)單詞wi生成候選改寫單詞贾漏，然后生成候選改寫query C(q0)
候選改寫query的概率是P(q0|q1)P(q1)
概率最高的就是最好的改寫query
其中P(q0|q1)是噪音信道模型得出的概率
P(q1)是n-gram語言模型得出的概率
給噪音信道模型增加權(quán)重，乘以r次冪
噪音信道模型
P(q0|q1)描述了原始query q0被q1替換的概率
從用戶同一搜索session中搜集替換term的query對
假設(shè)query q0改寫成query q1只替換了其中一個(gè)token藕筋，所以
計(jì)算概率P(wi|wi')也要考慮到P(wi|wi'=wi)，其實(shí)P(wi|wi'=wi)的計(jì)算公式如下
語言模型
n-gram語言模型梳码，由于query中包含的單詞是稀疏的隐圾，所以這里使用2-gram語言模型
語言模型單單從query中構(gòu)建，只建立query的語言模型
語言模型概率為
用的2-gram掰茶，所以
P(w1,...,wm)=P(w1)P(w2|w1)
在電商搜索場景下暇藏，query的詞序影響不大
"case iphone"跟"iphone case"的意思幾乎相同
后向2-gram語言模型
其中加了參數(shù)r
用的2-gram，所以
P(w1,...,wm)=P(w2|w1)*P(w1|w2)^r
為了防止過度替換over-replace的問題濒蒋，不只挑選概率最大的改寫query盐碱，而是返回概率大于原始query的所有改寫query。
看論文時(shí)的疑問
電商垂直搜索場景下的idea能否適用大搜環(huán)境
感覺這篇電商垂直搜索場景下的idea不調(diào)整的話沪伙，不適用于大搜環(huán)境瓮顽，需要經(jīng)過大的調(diào)整才能適用大搜環(huán)境
在電商垂直搜索場景下，商品的屬性也被認(rèn)為是實(shí)體围橡，比如商品的品牌暖混、材料、顏色翁授、形狀拣播、性別等，而大搜環(huán)境對實(shí)體的識別應(yīng)該沒有這么細(xì)收擦。
而且論文中用到的模型：去掉不重要term的算法贮配，直接是將拼接組合第一級和第二級來生成改寫query，相當(dāng)于去掉了不重要的第三級term塞赂。而這里的第一級與第二級的定義不適用于大搜環(huán)境泪勒。而且商品品牌消歧也是屬于電商領(lǐng)域的。
品牌消歧涉及到的P(C_i|q)模型如何訓(xùn)練和預(yù)測
應(yīng)該是eBay不愿意透露訓(xùn)練的具體細(xì)節(jié)
P(C_i|q)是query屬于購物類別C_i的概率减途，感覺直接用了個(gè)分類模型酣藻，然后帶有概率。
如果商品品牌有歧義的很少的話鳍置，是否直接用一個(gè)有歧義品牌的list辽剧，而不用專門建立一個(gè)品牌消歧的模型
感覺可以將兩者結(jié)合，將歧義品牌放在list里税产，然后來了一個(gè)query之后怕轿，先判斷是否包含list中的string偷崩，如果不包含，則直接跳過品牌消歧模型撞羽，如果包含阐斜，則再用品牌消歧模型來判斷query中包含的這個(gè)string是否是品牌
公式（2）的P(click|r)為什么是用null query的樣本計(jì)算，而不是用null and low query的樣本計(jì)算
沒有具體解釋诀紊，應(yīng)該是eBay不愿意透露具體細(xì)節(jié)
如何從用戶行為日志中為每個(gè)單詞wi生成候選改寫單詞
應(yīng)該是eBay不愿意透露具體細(xì)節(jié)谒出。感覺應(yīng)該是從用戶日志中，找到相似（比如：用戶同一搜索session中的多個(gè)query不相同的單詞可以認(rèn)為是相似的單詞）的單詞pair對邻奠，然后進(jìn)行單詞替換笤喳。
