文章名稱

【SIGIR-2019】【Cornell University】Intervention Harvesting for Context-Dependent Examination-Bias Estimation

核心要點

文章旨在解決L2R中審視偏差（examination bias）對模型性能造成的影響汇歹，作者認為審視偏差不僅僅和物品處在的返回結果的位置相關腔彰，同時和整個查詢的特征（包括語句長短出皇、上下文，意圖厚宰，甚至查詢者的性別、年齡都有關系）相關稿械。因此我抠，在原有Position-Based Model，PBM的基礎上提出了Contextual Position-Based Mode决记，CPBM模型摧冀，以查詢特征作為條件來估計審視偏差。

方法細節(jié)

問題引入

基于IPS的方法有效的緩解了基于隱式反饋的L2R中的position bias和數(shù)據(jù)缺失問題系宫。
然而索昂，現(xiàn)有方法假設position bias（examination bias，也就是觀測或者審視偏差扩借，表示用戶是否注意到或者看到某個排在后面的推薦結果是有偏的椒惨，沒有點擊某個物品，可能是因為沒有看到或被前面的結果吸引而被截斷了潮罪，并不代表這個結果和用戶的查詢意圖不相關或者用戶不喜歡這個結果）僅僅和文本的排序位置有關康谆，也就是所謂的position-based-model（PBM）领斥。 但作者認為，這個偏差和用戶查詢時候的上下文有關系沃暗。

此外月洛，現(xiàn)有方法認為所有查詢受到的偏差的影響是相同的，其實不然孽锥，不同的檢索意圖可能導致不同的審視偏差（不僅僅是檢索用到的查詢語句嚼黔，還可能涉及到用戶的特征）。例如惜辑，1）用戶輸入搜索查詢目的是尋找特定的網(wǎng)站或網(wǎng)頁唬涧，作者稱之為導航查詢（navigational queries）。此時盛撑，用戶審視結果時碎节，可能更容易被截斷甚至忽略相關性高排名靠前的其他網(wǎng)頁。因為需要目標是找到自己想要的抵卫，目的性比較強钓株；2）用戶輸入一個涵蓋范圍比較廣的話題，目的是獲取更多的信息陌僵，比如調研轴合，作者稱之為導航查詢（informational queries）。此時碗短，用戶審視結果時受葛，可能還有比較強的連續(xù)性，可能一個接一個的審視相關的結果偎谁。因為目標是獲得更多的信息总滩，會盡可能的看所有結果，所有結果的被審視覆蓋率會比較高）巡雨。為每一個場景訓練一個PBM來解決examination bias是不太現(xiàn)實的闰渔。而這些examination bias的區(qū)別可以用與用戶和查詢詞/短語相關的上下文向量表示，例如查詢語句的長度铐望、查詢結果集的大小以及用戶的年齡等（個人理解冈涧，年齡大的偏向于更多使用泛化瀏覽？）正蛙。

具體做法

不同于之前的方法利用一個被所有語句共享的審視參數(shù)來消除偏差督弓，作者提出的CPBM可利用上下文向量提供更豐富的偏差影響信息。

PBM假設乒验，用戶是否審視某個搜索的反饋結果（用隨機變量表示）僅僅與反饋結果的排序相關愚隧，可以表示為條件概率。用戶是否轉化（點擊锻全，評分等等狂塘，用隨機變量表示）录煤，是用戶是否審視結果以及結果是否與查詢意圖相關共同作用的結果（用函數(shù)表示），可以表示為荞胡》蓿可以看出PBM假設審視偏差（可以被理解為是一種propensity score）只與排序有關，對所有查詢語句與文檔元組是一樣的硝训，也就是所有查詢結果共用一條propensity score曲線（關于的曲線）。

然而新思，如上所述窖梁，的概率和整個查詢的上下文有關系，其條件概率應該被表示為夹囚，其中表示上下文向量纵刘。用戶是否轉化的概率可以被表示為，荸哟，也就是所謂的CPBM假哎。可以看出鞍历，相比于PBM舵抹，1）下文向量替換了查詢語句（由于上下文向量涵蓋更廣泛的查詢信息，所以可以省略）劣砍；2）用戶是否審視某一個查詢反饋結果與結果的排序和上下文向量都有關系惧蛹。

可以用神經(jīng)網(wǎng)絡或者其他模型建模，并且PBM只需要估計（表示我們關心的反饋結果的最長度刑枝，比如10或者20香嗓，一般評估的時候用DCG@k里邊的k）。然而装畅，CPBM要求建模靠娱，并且在每一個元組，學習模型參數(shù)掠兄。除了數(shù)據(jù)是稀疏的以外像云，由于我們不知道的真實值（其實是我們想要的核心值），所以很難準確估計蚂夕。

下一節(jié)我們繼續(xù)講解苫费，如何學習模型的參數(shù)。

心得體會

上下文相關

文章最大的亮點是通過數(shù)據(jù)分析和觀察發(fā)現(xiàn)不同query的上下文會影響審視偏差双抽，雖然這個特點被講出來的時候很直覺百框，容易理解，但并不好從數(shù)據(jù)和舉例中描述出來牍汹。同時铐维，也讓我們想到審視偏差可能還與其他特征相關柬泽，包括用戶的查詢地點，查詢時段的習慣（比如辦公時查的更偏向于目的明確）嫁蛇，單個文檔的長度（文檔越短锨并，用戶看完一個可能更容易回到查詢結果列表看下一個）等。