作者：紀(jì)尚宏? 班級(jí)：1402019 學(xué)號(hào)：14020199038
【嵌牛導(dǎo)讀】：近年來唯竹，無監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺技術(shù)、自然語言處理和語音識(shí)別任務(wù)上都已經(jīng)取得了很大的進(jìn)步，而在信息檢索的排序上卻仍在原地踏步徒像，沒有太大的改進(jìn)。
【嵌牛鼻子】：深度學(xué)習(xí) 弱監(jiān)督 神經(jīng)排序模型 信息檢索
【嵌牛提問】：弱監(jiān)督是什么蛙讥，什么是神經(jīng)排序模型
【嵌牛正文】：近年來锯蛀，無監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺技術(shù)、自然語言處理和語音識(shí)別任務(wù)上都已經(jīng)取得了很大的進(jìn)步次慢，而在信息檢索的排序上卻仍在原地踏步旁涤，沒有太大的改進(jìn)。
其中的原因可能在于排序問題本身的復(fù)雜性迫像，因?yàn)樵跊]有監(jiān)督信號(hào)的情況下劈愚，神經(jīng)網(wǎng)絡(luò)很難從查詢內(nèi)容和文檔中獲取信息。因此闻妓，我們?cè)谶@篇文章中提出了使用“弱監(jiān)督”來訓(xùn)練神經(jīng)排序模型菌羽。也就是說，所有訓(xùn)練所需的標(biāo)簽都是機(jī)器自己獲取的由缆，不存在任何人工輸入的標(biāo)簽注祖。
為此猾蒂，我們把一個(gè)“無監(jiān)督”排序模型的輸出結(jié)果，比如BM25是晨，當(dāng)做一個(gè)“弱監(jiān)督”模型的信號(hào)來使用婚夫。
接下來，我們會(huì)進(jìn)一步基于“前饋神經(jīng)網(wǎng)絡(luò)”對(duì)一系列簡(jiǎn)單卻十分高效的排序模型進(jìn)行訓(xùn)練署鸡。我們還會(huì)考察它們?cè)诓煌挠?xùn)練場(chǎng)景下的效果，例如：使用不同的輸入表征（密集/稀疏表征向量限嫌，或者是“嵌入”文字表征）靴庆，分別訓(xùn)練“逐點(diǎn)模型”和“成對(duì)模型”。
我們能夠從無監(jiān)督IR模型中輕易地獲得“弱標(biāo)記數(shù)據(jù)”怒医，實(shí)驗(yàn)的結(jié)果反映炉抒，提前對(duì)大量的“弱標(biāo)記數(shù)據(jù)”進(jìn)行訓(xùn)練，對(duì)有監(jiān)督的神經(jīng)排序模型非常有益稚叹。
我們調(diào)查的三個(gè)主要問題：
問題一：?jiǎn)螒{來自無監(jiān)督IR模型的標(biāo)簽作為弱監(jiān)督訓(xùn)練數(shù)據(jù)焰薄，比如BM25，有可能完成一個(gè)神經(jīng)排序模型的訓(xùn)練嗎扒袖？
問題二：在這樣的情況下塞茅，什么樣的輸入表征和學(xué)習(xí)目標(biāo)是最適合模型訓(xùn)練的？
問題三：弱監(jiān)督的操作過程季率，尤其是在標(biāo)記數(shù)據(jù)有限的情況下野瘦，能否優(yōu)化有監(jiān)督的學(xué)習(xí)模型？
排序的體系結(jié)構(gòu)
我們對(duì)三種神經(jīng)排序模型進(jìn)行了嘗試：
1飒泻、分?jǐn)?shù)模型
這種架構(gòu)實(shí)際上是一個(gè)預(yù)測(cè)“查詢文檔”組合的檢索分?jǐn)?shù)的逐點(diǎn)排序模型鞭光。專業(yè)地來說，這種架構(gòu)的目標(biāo)就是掌握一個(gè)“分?jǐn)?shù)功能”泞遗，這一功能能夠決定一個(gè)“查詢文檔”的檢索分?jǐn)?shù)惰许。我們可以用線性回歸圖來大致地表示這個(gè)問題：
2、排序模型
與第一種“分?jǐn)?shù)模型”相同的是史辙，“排序模型”的目標(biāo)也是掌握“分?jǐn)?shù)功能”汹买。但不同的是，“排序模型”并不是為了使分?jǐn)?shù)搜索功能標(biāo)準(zhǔn)化髓霞。因此我們?cè)凇芭判蚰Ｐ汀钡挠?xùn)練中使用了“雙情境”卦睹。
具體來說就是我們?cè)谟?xùn)練中使用了兩個(gè)參數(shù)相同的逐點(diǎn)模型。為了最大程度地降低損耗方库，我們更新了其中的參數(shù)：
在推導(dǎo)過程中结序，由于兩個(gè)模型是完全一樣的，我們只取了其中一個(gè)作為最終的分?jǐn)?shù)功能模型纵潦，并且把經(jīng)過訓(xùn)練的模型以逐點(diǎn)的方式使用徐鹤。
3垃环、試驗(yàn)排序模型
第三種排序架構(gòu)的基礎(chǔ)是一個(gè)包括訓(xùn)練和推導(dǎo)的“雙情境”。這種模型是為了學(xué)習(xí)包含一個(gè)查詢內(nèi)容和兩個(gè)文檔（d1和d2）的“排序功能”而設(shè)計(jì)的返敬。根據(jù)查詢內(nèi)容遂庄，模型會(huì)預(yù)測(cè)d1文檔排名高于d2文檔的可能性。這個(gè)問題可以用回歸圖大致表達(dá)：
輸入表征
輸入層表征能夠把一個(gè)輸入的“查詢文檔組合”用一個(gè)固定大小的向量表示出來劲赠，接著涛目，這個(gè)固定大小的向量就會(huì)被輸入至完全的連接層。
在實(shí)驗(yàn)中凛澎，我們對(duì)三種不同的輸入層表征展開了研究：
1霹肝、密集向量表征
一個(gè)常規(guī)的密集向量表征涵蓋了各種各樣的輸入“查詢文檔組合”的數(shù)據(jù)信息。我們還特別建立了一個(gè)包含BM25特征的密集向量表征塑煎，讓網(wǎng)絡(luò)在收到相同輸入的時(shí)候沫换，也能適應(yīng)BM25公式中所描述的功能。
2最铁、稀疏向量表征
現(xiàn)在讯赏，我們?cè)囍蝗ス苣切﹥H包含聚合數(shù)據(jù)的、完全是特制的表征冷尉，讓機(jī)器自己幫我們完成特征的提取漱挎。通過提取查詢內(nèi)容和文檔中的詞頻向量，我們專門建立了一個(gè)“詞袋”表征网严，并且將這三個(gè)向量的串聯(lián)輸入至網(wǎng)絡(luò)中识樱。
3、“嵌入”表征
前面兩種輸入表征最大的不足就在于震束，文字被當(dāng)成了離散的單元怜庸。正因?yàn)槿绱耍W(wǎng)絡(luò)無法在語義上相似的文字中執(zhí)行“軟匹配”垢村。在這一個(gè)輸入表征中割疾，我們依靠文字嵌入來達(dá)到一個(gè)更加強(qiáng)大的查詢文檔表征，一個(gè)能夠跨越詞法鴻溝的表征嘉栓。
機(jī)器能夠從訓(xùn)練數(shù)據(jù)中提取有識(shí)別力的信號(hào)宏榕，而這些輸入表征決定了網(wǎng)絡(luò)提取信號(hào)的能力，也決定了不同的網(wǎng)絡(luò)推廣行為侵佃。
不同的排序結(jié)構(gòu)的組合麻昼，以及不同的輸入表征都可以被納入排名模型的改進(jìn)方案。我們用了來自兩個(gè)標(biāo)準(zhǔn)集——同質(zhì)的新聞集（Robust）和一個(gè)大規(guī)模的異結(jié)構(gòu)網(wǎng)絡(luò)集（ClueWeb）——的超過六百萬個(gè)查詢和文檔馋辈，來進(jìn)行網(wǎng)絡(luò)訓(xùn)練抚芦。
我們的實(shí)驗(yàn)結(jié)果顯示，如果我們采用了恰當(dāng)?shù)哪繕?biāo)函數(shù)，并且讓網(wǎng)絡(luò)根據(jù)“弱監(jiān)督數(shù)據(jù)”（實(shí)驗(yàn)排名模型+嵌入模型）來學(xué)習(xí)輸入表征叉抡，我們的網(wǎng)絡(luò)就能有非常出色的表現(xiàn)尔崔。
因?yàn)槲覀儍H使用了BM25作為模型訓(xùn)練的監(jiān)督，并且經(jīng)過訓(xùn)練的模型甚至還超越了BM25褥民，所以現(xiàn)在來說季春，模型的表現(xiàn)已經(jīng)非常了不起了。
一方面消返，盡管完全的“詞匹配”是檢索和排序的一個(gè)重要特征载弄，但它還不足以獲得相關(guān)性的概念。另一方面撵颊，BM25仍是一個(gè)相對(duì)高效的文字匹配方法侦锯。
如何工作
我們向我們的神經(jīng)網(wǎng)絡(luò)提供的雖然只是一些弱標(biāo)記的案例，但是我們成功地讓網(wǎng)絡(luò)超越了信號(hào)本身秦驯，并從不同的角度看到了這些案例中的相關(guān)性。
因此挣棕，當(dāng)“詞匹配”無法正確指示相關(guān)性的時(shí)候译隘，模型可以自己完成相關(guān)性的推導(dǎo)。舉個(gè)例子：學(xué)習(xí)密集表征（比如“嵌入表征”）能幫助網(wǎng)絡(luò)捕捉語義匹配洛心，檢測(cè)語義相關(guān)性固耘；而BM25就無法做到這些。
從我們的“弱監(jiān)督”模型訓(xùn)練實(shí)驗(yàn)中词身，我大致總結(jié)了一些關(guān)鍵信息：
主要內(nèi)容：利用大量的無監(jiān)督數(shù)據(jù)來推斷“弱標(biāo)簽”厅目，并把那些“弱標(biāo)簽”的弱信號(hào)用于有監(jiān)督模型的學(xué)習(xí)。
定一個(gè)能夠讓你的模型遠(yuǎn)離弱監(jiān)督數(shù)據(jù)缺陷的目標(biāo)法严。
讓機(jī)器自己決定采用哪種表征损敷，并讓它自己提取其中的特征。向機(jī)器人工輸入特征深啤，會(huì)扼殺模型的創(chuàng)造力拗馒！
如果輸入的特征數(shù)據(jù)是經(jīng)過設(shè)計(jì)的，那么模型的普遍性就很有可能會(huì)被削弱溯街，你可能會(huì)面臨“過度擬合”的問題诱桂。
假如你有足夠多的訓(xùn)練數(shù)據(jù)，那么你的機(jī)器就能僅通過一個(gè)個(gè)本地的案例呈昔，輕松掌握全球范圍內(nèi)的信息挥等。
如果你有足夠的數(shù)據(jù)源，你可以學(xué)習(xí)與你的任務(wù)更加匹配的“嵌入”堤尾。通過不斷的更新肝劲，“嵌入”與你的任務(wù)會(huì)更加匹配。但前提是你有足夠多的數(shù)據(jù)源。
當(dāng)你的模型中不存在表征學(xué)習(xí)時(shí)涡相，神經(jīng)網(wǎng)絡(luò)中的非線性部分的用處不大哲泊。深度神經(jīng)網(wǎng)絡(luò)最重要的優(yōu)越性在于它高效的表征學(xué)習(xí)的能力，當(dāng)你的深度網(wǎng)絡(luò)“深”到一定程度的時(shí)候催蝗，它的優(yōu)越性就不起作用了切威。
來源：鈦媒體
