姓名：謝童? 學(xué)號(hào)：16020188008? 轉(zhuǎn)自微信公眾號(hào) 機(jī)器之心

自然語(yǔ)言處理的預(yù)訓(xùn)練任務(wù)該選哪一個(gè)？語(yǔ)言模型真的是一種通用的預(yù)訓(xùn)練方法嗎谒麦？這篇論文告訴我們俄讹，通用的 NLP 預(yù)訓(xùn)練模型是我們想多了。不同的目標(biāo)任務(wù)需要不同的預(yù)訓(xùn)練模型绕德，而預(yù)訓(xùn)練語(yǔ)言模型甚至?xí)p傷某些任務(wù)的性能患膛。不過(guò)在沒(méi)有更好的方案前，預(yù)訓(xùn)練語(yǔ)言模型還是最好的選擇耻蛇。

用于自然語(yǔ)言處理任務(wù)（如翻譯踪蹬、問(wèn)答和解析）的最先進(jìn)模型都具有旨在提取每個(gè)輸入句子含義和內(nèi)容表征的組件。這些句子編碼器組件通常直接針對(duì)目標(biāo)任務(wù)進(jìn)行訓(xùn)練臣咖。這種方法可以在數(shù)據(jù)豐富的任務(wù)上發(fā)揮作用跃捣，并在一些狹義定義的基準(zhǔn)上達(dá)到人類水平，但它只適用于少數(shù)具有數(shù)百萬(wàn)訓(xùn)練數(shù)據(jù)樣本的 NLP 任務(wù)夺蛇。這引起人們對(duì)預(yù)訓(xùn)練句子編碼的興趣：我們有充分的理由相信疚漆，可以利用外部數(shù)據(jù)和訓(xùn)練信號(hào)來(lái)有效地預(yù)訓(xùn)練這些編碼器，因?yàn)樗鼈冎饕糜诓东@句子含義而不是任何特定于任務(wù)的技能刁赦。并且我們已經(jīng)看到了預(yù)訓(xùn)練方法在詞嵌入和圖像識(shí)別相關(guān)領(lǐng)域中獲得的成功娶聘。

更具體地說(shuō)，最近的四篇論文表明甚脉，預(yù)訓(xùn)練句子編碼器可以在 NLP 任務(wù)上獲得非常強(qiáng)的性能丸升。首先，McCann 等人 (2017) 表明來(lái)自神經(jīng)機(jī)器翻譯系統(tǒng)的 BiLSTM 編碼器可以在其他地方有效地重用牺氨。Howard & Ruder (2018)狡耻、Peters 等 (2018)、 Radford 等 (2018) 表明波闹，通過(guò)生成式語(yǔ)言建模（LM）以無(wú)監(jiān)督方式預(yù)訓(xùn)練的各種編碼器也是有效的酝豪。然而，每篇論文都使用自己的評(píng)估方法精堕，不清楚哪個(gè)預(yù)訓(xùn)練任務(wù)最有效孵淘，或者是否可以有效地組合多個(gè)預(yù)訓(xùn)練任務(wù)；在句子到向量編碼的相關(guān)設(shè)置中歹篓，使用多個(gè)標(biāo)注數(shù)據(jù)集的多任務(wù)學(xué)習(xí)已經(jīng)產(chǎn)生了魯棒的當(dāng)前最佳結(jié)果瘫证。

本文試圖系統(tǒng)地解決這些問(wèn)題。研究者在 17 種不同的預(yù)訓(xùn)練任務(wù)庄撮、幾個(gè)簡(jiǎn)單的基線以及這些任務(wù)的幾種組合上訓(xùn)練可重用的句子編碼器背捌，所有這些都使用受 ELMo 擴(kuò)展的單個(gè)模型架構(gòu)和過(guò)程，用于預(yù)訓(xùn)練和遷移洞斯。然后毡庆，研究者根據(jù) GLUE 基準(zhǔn)測(cè)試中的 9 個(gè)目標(biāo)語(yǔ)言理解任務(wù)評(píng)估這些編碼器坑赡，他們共得到了 40 個(gè)句子編碼器和 360 個(gè)已訓(xùn)練模型。然后么抗，研究者測(cè)量目標(biāo)任務(wù)的性能相關(guān)性毅否，并繪制了評(píng)估訓(xùn)練數(shù)據(jù)量對(duì)每個(gè)預(yù)訓(xùn)練和目標(biāo)任務(wù)的影響的學(xué)習(xí)曲線。

實(shí)驗(yàn)結(jié)果表明語(yǔ)言建模是其中最有效的一個(gè)預(yù)訓(xùn)練任務(wù)蝇刀，預(yù)訓(xùn)練期間的多任務(wù)學(xué)習(xí)可以提供進(jìn)一步的增益螟加，并在固定句子編碼器上得到新的當(dāng)前最佳結(jié)果。然而吞琐，ELMo 式的預(yù)訓(xùn)練也有令人擔(dān)憂的地方捆探，研究者預(yù)訓(xùn)練模型并將其用于目標(biāo)任務(wù)時(shí)沒(méi)有進(jìn)一步微調(diào)，這是脆弱的并且存在嚴(yán)重限制： (i) 一般的基線表征和最好的預(yù)訓(xùn)練編碼器幾乎能達(dá)到相同的表現(xiàn)站粟，不同的預(yù)訓(xùn)練任務(wù)之間的差別可能非常小黍图。(ii) 不同的目標(biāo)任務(wù)在它們受益最多的預(yù)訓(xùn)練方面存在顯著差異，并且多任務(wù)預(yù)訓(xùn)練不足以避免這個(gè)問(wèn)題并提供通用的預(yù)訓(xùn)練編碼器卒蘸。

圖 1：本研究的通用模型設(shè)計(jì)：在預(yù)訓(xùn)練期間雌隅，為每個(gè)預(yù)訓(xùn)練任務(wù)訓(xùn)練共享編碼器和任務(wù)特定模型。然后缸沃，固定共享編碼器恰起，并為每個(gè)目標(biāo)評(píng)估任務(wù)重新訓(xùn)練任務(wù)特定模型。任務(wù)可能涉及多個(gè)句子趾牧。

論文：Looking for ELMo's friends: Sentence-Level Pretraining Beyond Language Modeling

論文鏈接：https://arxiv.org/abs/1812.10860

摘要：關(guān)于語(yǔ)境化詞表征問(wèn)題的研究（用于句子理解的可重用神經(jīng)網(wǎng)絡(luò)組件的開(kāi)發(fā)）检盼，近期最近出現(xiàn)了一系列進(jìn)展，主要是使用 ELMo 等方法進(jìn)行語(yǔ)言建模的無(wú)監(jiān)督預(yù)訓(xùn)練任務(wù)翘单。本文提供了第一個(gè)大規(guī)模系統(tǒng)研究吨枉，比較了在這種背景下不同的預(yù)訓(xùn)練任務(wù)，既作為語(yǔ)言建模的補(bǔ)充哄芜，也作為潛在的替代方案貌亭。該研究的主要結(jié)果支持使用語(yǔ)言建模作為預(yù)訓(xùn)練任務(wù)，并在使用語(yǔ)言模型進(jìn)行多任務(wù)學(xué)習(xí)的可比模型中得到了新的當(dāng)前最佳結(jié)果认臊。然而圃庭，仔細(xì)觀察這些結(jié)果可以發(fā)現(xiàn)跨目標(biāo)任務(wù)中的模型性能出現(xiàn)了令人擔(dān)憂的變化，這表明廣泛使用的預(yù)訓(xùn)練和凍結(jié)句子編碼器的范式可能不是進(jìn)一步研究的理想基礎(chǔ)失晴。

表 1 展示了我們所有預(yù)訓(xùn)練編碼器在 GLUE 開(kāi)發(fā)集上的結(jié)果剧腻，每個(gè)編碼器有或者沒(méi)有使用預(yù)訓(xùn)練的 ELMo BiLSTM 層（上標(biāo) E）。N/A 基線是具有隨機(jī)初始化的未經(jīng)訓(xùn)練的編碼器涂屁。Single-Task 基線是來(lái)自 9 個(gè) GLUE 的結(jié)果的聚合：給定 GLUE 任務(wù)的該行中的結(jié)果使用僅在該任務(wù)上預(yù)訓(xùn)練的編碼器书在。為了與其他結(jié)果保持一致，我們將預(yù)訓(xùn)練任務(wù)和目標(biāo)任務(wù)視為所有情況下的兩個(gè)單獨(dú)任務(wù)（包括此處）拆又，并為它們提供獨(dú)立的任務(wù)特定參數(shù)儒旬，盡管它們使用相同的數(shù)據(jù)栏账。我們使用上標(biāo) S 和 C 分別表示 Reddit 任務(wù)的 Seq2Seq 和分類兩個(gè)變體。

表 1：GLUE 基準(zhǔn)測(cè)試結(jié)果栈源，除非另有說(shuō)明发笔，否則它都是使用的開(kāi)發(fā)集。其中 E 表示 ELMo 用作輸入層凉翻，C 和 S 分別為兩種 Reddit 任務(wù)的變體。加粗的結(jié)果在總體上是最好的捻激，加下劃線的結(jié)果表示在沒(méi)有 ELMo 的情況下是最好的制轰。

觀察其它目標(biāo)任務(wù)，和語(yǔ)法相關(guān)的 CoLA 任務(wù)從 ELMo 預(yù)訓(xùn)練中受益明顯：沒(méi)有語(yǔ)言建模預(yù)訓(xùn)練的最佳結(jié)果不到有預(yù)訓(xùn)練結(jié)果的一半胞谭。相比之下垃杖，含義導(dǎo)向的文本相似性基準(zhǔn) STS 在多種預(yù)訓(xùn)練方法上取得了很好的結(jié)果，但并沒(méi)有從 ELMo 的使用中獲得顯著收益丈屹。

單獨(dú)對(duì)比沒(méi)有使用 ELMo 的預(yù)訓(xùn)練任務(wù)调俘，語(yǔ)言建模的性能最佳，然后是 MNLI旺垒。剩余的預(yù)訓(xùn)練任務(wù)只能得到和隨機(jī)基線相當(dāng)?shù)慕Y(jié)果彩库。即使只直接在每個(gè)目標(biāo)任務(wù)上進(jìn)行訓(xùn)練（Single-Task），也只能得到相對(duì)于簡(jiǎn)單基線的很少提升先蒋。添加 ELMo 可以在所有預(yù)訓(xùn)練任務(wù)上取得性能改善骇钦。MNLI 和英-德翻譯在此設(shè)置下性能最佳，SkipThought竞漾、Reddit 分類和 DisSent 也超越了 ELMo-增強(qiáng)的隨機(jī)基線眯搭。

使用 ELMo，一個(gè)多任務(wù)模型表現(xiàn)最佳业岁，但如果沒(méi)有它鳞仙，所有三個(gè)多任務(wù)模型都會(huì)被其中一個(gè)組成任務(wù)的模型追平或超越，這表明我們的多任務(wù)學(xué)習(xí)方法無(wú)法可靠地得到很好地利用每個(gè)訓(xùn)練任務(wù)教的知識(shí)的模型笔时。但是棍好，兩個(gè)非 ELMo 模型在開(kāi)發(fā)集上表現(xiàn)最佳，在測(cè)試數(shù)據(jù)上多任務(wù)模型比單任務(wù)模型更好地泛化了 STS 等任務(wù)糊闽，其中測(cè)試集包含新的域外數(shù)據(jù)梳玫。

跨任務(wù)相關(guān)性：表 2 展示了主要實(shí)驗(yàn)結(jié)果（表 1）的另一種視角，它顯示了預(yù)訓(xùn)練編碼器空間中任務(wù)對(duì)之間的相關(guān)性右犹。這些相關(guān)性反映了在使用某種編碼器且知道在特定任務(wù)上的性能后提澎，我們能預(yù)測(cè)相同編碼器在另一種目標(biāo)任務(wù)上的性能。

很多相關(guān)性都非常低念链，這表明不同任務(wù)在很大程度上都受益于不同形式的預(yù)訓(xùn)練盼忌，且不會(huì)觀察到一個(gè)預(yù)訓(xùn)練任務(wù)能在所有目標(biāo)任務(wù)上都能表現(xiàn)出很好的性能积糯。如上所述，總體上表現(xiàn)最好的模型在 WNLI 訓(xùn)練集上過(guò)擬合最嚴(yán)重谦纱，因此 WNLI 和整體 GLUE 分?jǐn)?shù)之間的相關(guān)性為負(fù)看成。STS 同樣也有一些負(fù)的相關(guān)性，也許是因?yàn)樗](méi)有受益于 ELMo 的預(yù)訓(xùn)練跨嘉。相比之下川慌，CoLA 與整體 GLUE 分?jǐn)?shù)顯示出很強(qiáng)的相關(guān)性：0.93，但與其它任務(wù)有弱的或負(fù)的相關(guān)性祠乃，這表示使用 ELMo 或語(yǔ)言模型可顯著提升 CoLA 的性能梦重，但其它類型的預(yù)訓(xùn)練任務(wù)幫助不大。

表 2：不同目標(biāo)任務(wù)性能間的皮爾森相關(guān)性亮瓷，它們都是基于表 1 中的所有實(shí)驗(yàn)而進(jìn)行度量的琴拧。Avg 列為各種獨(dú)立任務(wù)上的預(yù)訓(xùn)練模型與整體 GLUE 分?jǐn)?shù)的相關(guān)性。對(duì)于有多種度量的任務(wù)嘱支，我們會(huì)在每一行的抬頭中注明使用的度量方法蚓胸。負(fù)的相關(guān)性會(huì)使用下劃線標(biāo)注出來(lái)。

學(xué)習(xí)曲線圖 2 展示了兩種類型的學(xué)習(xí)曲線除师，第一組度量了整體 GLUE 指標(biāo)的性能沛膳，其中編碼器在每一個(gè)預(yù)訓(xùn)練任務(wù)中使用不同的樣本數(shù)而獲得收斂。第二組重點(diǎn)關(guān)注三個(gè)預(yù)訓(xùn)練編碼器汛聚，并獨(dú)立地在每一個(gè) GLUE 目標(biāo)任務(wù)上使用不同的數(shù)據(jù)量而度量性能于置。

若只看預(yù)訓(xùn)練任務(wù)（左上），大多數(shù)任務(wù)都會(huì)隨著預(yù)訓(xùn)練數(shù)據(jù)的增加而緩慢地提升性能贞岭，LM 和 MT 任務(wù)是最大化性能最具潛力的組合八毯。通過(guò) ELMo（右上）結(jié)合這些預(yù)訓(xùn)練任務(wù)，產(chǎn)生了難以解釋的結(jié)果：訓(xùn)練數(shù)據(jù)量和性能之間的相關(guān)性變?nèi)趺榻埃虼吮疚拿枋龅淖罴呀Y(jié)果都是預(yù)訓(xùn)練 ELMo 模型結(jié)合其它預(yù)訓(xùn)練任務(wù)（例如 MNLI 和 QQP）的受限數(shù)據(jù)的版本而實(shí)現(xiàn)的话速。

觀察隨著訓(xùn)練數(shù)據(jù)量改變時(shí)目標(biāo)任務(wù)的性能變化，我們發(fā)現(xiàn)所有的任務(wù)都從數(shù)據(jù)量增加中獲益芯侥，沒(méi)有明顯的收益遞減泊交，并且大多數(shù)任務(wù)都從預(yù)訓(xùn)練中獲得了常量的性能提升，無(wú)論是使用了 ELMo（中）還是多任務(wù)學(xué)習(xí)（右）柱查。

圖 2：頂部：沒(méi)有使用 ELMo（左）和使用了 ELMo（右）的 GLUE 分?jǐn)?shù)的預(yù)訓(xùn)練學(xué)習(xí)曲線廓俭。底部：每個(gè) GLUE 任務(wù)上 3 個(gè)編碼器的目標(biāo)任務(wù)訓(xùn)練的學(xué)習(xí)曲線。沒(méi)有使用 ELMo 的隨機(jī)編碼器（左）唉工，使用了 ELMo 的隨機(jī)編碼器（中）研乒，和沒(méi)有使用 ELMo 的 Outside MTL。

在 GLUE Diagnostic Set 上的結(jié)果：從 GLUE 的輔助診斷分析數(shù)據(jù)集中淋硝，我們發(fā)現(xiàn) ELMo 和其它形式的無(wú)監(jiān)督預(yù)訓(xùn)練可以幫助提升涉及世界知識(shí)和詞匯-語(yǔ)義知識(shí)的任務(wù)雹熬，但對(duì)于強(qiáng)調(diào)復(fù)雜句子結(jié)構(gòu)的任務(wù)改善很少宽菜。參見(jiàn)表 6 查看更多細(xì)節(jié)。

表 6：GLUE 診斷集結(jié)果竿报，以 R_3 關(guān)聯(lián)系數(shù)（x100）表示铅乡，其將由不知情模型（uninformed model）的隨機(jī)猜測(cè)標(biāo)準(zhǔn)化為 0。人類性能在總體診斷集上大約為 80烈菌。粗體表示總體最佳結(jié)果阵幸，加下劃線的結(jié)果表示在沒(méi)有 ELMo 的情況下是最好的。