? ? ? ?這是一篇在谷歌學(xué)術(shù)上引用度很高的論文，也是在NLP領(lǐng)域直面核心挑戰(zhàn)（閱讀理解熬丧，也就是讓機(jī)器閱讀抽米，然后能夠回答和閱讀內(nèi)容相關(guān)的問題）的重磅研究和里程碑，所以這篇文章值得我們好好閱讀捷沸，這是Karl Moriz Herman等人以谷歌和牛津大學(xué)名義聯(lián)合發(fā)表于2015年11月的NIPS。
? ? ? ? 下圖顯示的是截至目前的論文被引用的情況狐史，雖然在計(jì)算機(jī)科學(xué)領(lǐng)域痒给，論文的引用數(shù)量很容易上去，但是從2015年11月到現(xiàn)在能夠達(dá)到159骏全，也是很少見的苍柏。
? ? ? ? 文章認(rèn)為他們工作的主要貢獻(xiàn)是定義了一種新的方法來解決機(jī)器做閱讀理解的瓶頸，并且產(chǎn)生了大規(guī)模監(jiān)督學(xué)習(xí)的數(shù)據(jù)姜贡。這就為以后制造只需要最小先驗(yàn)語言結(jié)構(gòu)和知識(shí)试吁，基于注意力的深度神經(jīng)網(wǎng)絡(luò)來閱讀文檔和回答復(fù)雜問題提供了理論和工程基礎(chǔ)。
? ? ? ?文章開頭照例對(duì)于這個(gè)領(lǐng)域的研究格局做了調(diào)研，發(fā)現(xiàn)目前研究的方向還是詞袋模型（BOW）為核心的信息抽取算法熄捍，其能力發(fā)展到閱讀文檔和理解文檔還有相當(dāng)?shù)穆芬咧蛐簦壳斑M(jìn)展緩慢。這個(gè)可以很容易理解余耽，BOW模型是忽略文法和詞語之間的關(guān)聯(lián)缚柏，布袋裝土豆的詞頻分析法很難談到去理解文檔。因此碟贾，要么如同文獻(xiàn)【1】采用手工設(shè)定規(guī)則語法去過濾币喧，要么如同文獻(xiàn)【2】使用檢測(cè)謂詞參數(shù)三元組的信息提取方法，這些信息可以保存在數(shù)據(jù)庫供后續(xù)閱讀理解的時(shí)候查詢袱耽。提出了關(guān)鍵問題：
這個(gè)領(lǐng)域缺乏有效的監(jiān)督學(xué)習(xí)算法杀餐，究其原因是缺乏充足的大訓(xùn)練集，同時(shí)很難構(gòu)建靈活學(xué)習(xí)文檔結(jié)構(gòu)的統(tǒng)計(jì)模型朱巨。
? ? ? ? 雖然已經(jīng)證明獲取監(jiān)督學(xué)習(xí)自然語言閱讀理解數(shù)據(jù)是非常困難的史翘，但是一些如文獻(xiàn)【3】【4】，已經(jīng)嘗試了生成合成敘述和查詢的方法冀续。這樣就能解決數(shù)據(jù)不夠的問題恶座，同時(shí)方便研究者能夠?qū)Ｗ⒀芯磕硢我凰惴ㄔ诜抡鎴?chǎng)景下的性能。但是沥阳，仿真數(shù)據(jù)總歸是無法模擬真實(shí)語言的豐富和復(fù)雜程度跨琳，還包括噪聲。所以Karl他們尋求一種新的方法產(chǎn)生監(jiān)督學(xué)習(xí)閱讀理解數(shù)據(jù)集桐罕。也就是直接使用簡(jiǎn)單的實(shí)體檢測(cè)和匿名化算法可以能夠閱讀文檔脉让，把摘要，句子釋義和相關(guān)文檔轉(zhuǎn)化為上下文-查詢-答案三元組生成語料庫功炮。他們通過這個(gè)方法生成了兩個(gè)包含從CNN和每日郵報(bào)抓取的一百萬新聞報(bào)道的語料庫溅潜。然后再構(gòu)建吸收了文獻(xiàn)【4，6薪伏，7滚澜，8】研究成果的新型深度學(xué)習(xí)模型使用這兩個(gè)語料庫。這樣的模型可以專注在可以幫助回答問題的那一部分文檔嫁怀，并且可以可視化這個(gè)推斷過程设捐。為了證明這種模型優(yōu)越性，Karl他們把這一模型和一系列基于傳統(tǒng)語義幀分析的算法做比較塘淑，當(dāng)然結(jié)果是令人滿意的萝招。
? ? ? ? 這么好的模型需要詳細(xì)解讀一下。神經(jīng)網(wǎng)絡(luò)模型的解讀重點(diǎn)在于輸入的數(shù)據(jù)模型和神經(jīng)網(wǎng)絡(luò)架構(gòu)存捺。讓我們從數(shù)據(jù)開始說起槐沼。這個(gè)監(jiān)督學(xué)習(xí)閱讀理解的數(shù)據(jù)模型核心是P（a|c，q），就是答案相對(duì)于相關(guān)上下文和問題的條件概率岗钩。這樣才能避免在推斷答案的時(shí)候需要先驗(yàn)知識(shí)纽窟，而是能夠聚焦到上下文實(shí)體之間的關(guān)系，也就是上下文-查詢和答案三元組兼吓。根據(jù)文獻(xiàn)【9】臂港，這一個(gè)領(lǐng)域的工作采取無監(jiān)督方法，使用模版或者語法或者語義分析器從文檔中提取關(guān)系元組以形成可以查詢的知識(shí)圖周蹭。文獻(xiàn)【10，11】的啟發(fā)疲恢，他們通過在線新聞和他們相應(yīng)的文摘?jiǎng)?chuàng)建了兩個(gè)機(jī)器閱讀語料庫凶朗，包含了CNN的93000篇新聞稿，每日郵報(bào)的220000篇報(bào)道显拳。這些報(bào)道都包含了文章要點(diǎn)或者總結(jié)棚愤。而且這些總結(jié)不是簡(jiǎn)單的重復(fù)報(bào)道文字，而是帶有一定抽象和概括杂数。Karl他們使用文獻(xiàn)【12】研究成果把這些要點(diǎn)文字轉(zhuǎn)化為Cloze形式問題宛畦，也就是一次用一個(gè)占位符取代一個(gè)實(shí)體的方法，這樣就構(gòu)造了大約一百萬條數(shù)據(jù)的文檔-查詢-答案三元組語料庫揍移，生成語料庫的代碼可以在github上找到次和。
? ? ? ? 由此，我們可以看到這篇文章的重心是構(gòu)建一個(gè)無需先驗(yàn)知識(shí)和可以做閱讀理解的語料庫那伐。為了理解這種不同的考量踏施，我們來看以下Cloze形式查詢例子（都是從每日郵報(bào)頭條校驗(yàn)數(shù)據(jù)集里面產(chǎn)生的）：a）高科技胸罩幫助你擊敗乳房X；b）糖精能夠打敗X嗎罕邀？c）魚肝油可以防治前列腺X嗎畅形？通過訓(xùn)練的n-gram模型，很容易推斷X=癌癥诉探，因?yàn)檫@是在語料庫中非常頻繁的被治愈的實(shí)體日熬。
為了防止解決方案退化和聚焦任務(wù)，我們使用以下匿名過程和隨機(jī)化我們的語料庫：a）為每一個(gè)數(shù)據(jù)點(diǎn)在同一個(gè)參照系中創(chuàng)建關(guān)聯(lián)坐標(biāo)肾胯；b）根據(jù)關(guān)聯(lián)坐標(biāo)把所有實(shí)體用抽象實(shí)體標(biāo)記替代竖席；c）在數(shù)據(jù)點(diǎn)加載時(shí)，隨機(jī)排列實(shí)體標(biāo)記敬肚。讓我們關(guān)注下面這個(gè)例子：
? ? ? ? 顯然怕敬，對(duì)比原文和被替換實(shí)體的版本，人是可以很快得出答案帘皿。但是东跪，在匿名版本中，需要上下文來回答問題，如同在原始文本中虽填，需要了解文本內(nèi)容的人來回答丁恭。按照這個(gè)流程，正確回答問題的唯一策略就是利用每個(gè)問題相關(guān)的上下文斋日。因此牲览，我們語料庫有多少相關(guān)上下文，那么閱讀理解的能力就有多強(qiáng)恶守。很自然的可以發(fā)現(xiàn)第献，一個(gè)實(shí)際應(yīng)用系統(tǒng)會(huì)從所有可用的信息源受益，比如通過語言本身的線索或者共現(xiàn)統(tǒng)計(jì)兔港。
? ? ? ? 下表給出了如何度量任務(wù)的難度系數(shù)庸毫，也就是在給定文檔中排名前N個(gè)實(shí)體標(biāo)記包含的正確答案的數(shù)量。Karl他們并沒有區(qū)分實(shí)體標(biāo)記和常規(guī)單詞，所以這使得任務(wù)更難，當(dāng)然模型也就更一般化禾酱。
? ? ? ? 論文在闡述了對(duì)于更好需求數(shù)據(jù)集的理由和評(píng)估機(jī)器閱讀模型的任務(wù)之后，真正的模型出場(chǎng)了载佳。首先，論文定義了兩種簡(jiǎn)單基線作為評(píng)估閱讀理解的性能臀栈，主線（最大詞頻）選取在上下文中被觀察到最多的實(shí)體蔫慧，而排它主線（排它詞頻）選取的是在上下文中被觀察到最多的，同時(shí)并不在問題里的實(shí)體权薯。這樣做是因?yàn)槲覀兿嘈旁谝粋€(gè)簡(jiǎn)單Cloze形式問題里面藕漱，占位標(biāo)記不太可能被重復(fù)提及。
? ? ? ? NLP模型的管道在傳統(tǒng)做法中被用來嘗試回答問題崭闲，即大量使用語言注釋肋联，結(jié)構(gòu)化全局知識(shí)，語義解析和類似的NLP管道輸出刁俭￠先裕基于這些手段，我們定義了一系列基于NLP的模型來完成閱讀文本牍戚。
? ? ? ? 框架語義解析嘗試識(shí)別謂詞和它相關(guān)參數(shù)侮繁，允許模型訪問“誰對(duì)誰做了什么”這樣的信息。自然地如孝，這種注釋有助于問題回答宪哩。Karl他們開發(fā)了一個(gè)基于文獻(xiàn)【13，14】研究成果的評(píng)估器第晰，主要是使用了框架語義注釋來解析我們的模型锁孟。他們?cè)谖幢荒涿恼Z料庫上廣泛使用解析器彬祖。這里使用框架語義解析并沒有顯著的好處，因?yàn)樗鼉H僅在解析階段被使用品抽，并不具備一般化語言模型的能力储笑。因此，為達(dá)成評(píng)估機(jī)器理解能力的目的圆恤，我們需要從問題q和上下文d中提取實(shí)體謂詞三元組（e1突倍，V，e2）盆昙，然后使用一些帶有增加的召回／精度均衡的規(guī)則來回答問題羽历。這些規(guī)則如下圖：
? ? ? ? 為了清楚起見，論文假設(shè)所有的PropBank三元組都具有（e1淡喜，V秕磷，e2）的形式。在實(shí)際應(yīng)用中拆火，會(huì)考慮解析器的參數(shù)編號(hào)跳夭，僅僅比較相似的場(chǎng)景涂圆，除非在諸如置換的框架規(guī)則们镜，因?yàn)檫@個(gè)時(shí)候不注重順序。在一個(gè)單一規(guī)則對(duì)應(yīng)多個(gè)kneeing的答案的時(shí)候润歉，論文只是隨機(jī)選擇一個(gè)模狭。
? ? ? ? 另一種基線是和詞距有關(guān)。論文將Cloze問題的占位符合上下文中每一個(gè)實(shí)體對(duì)齊踩衩，并且計(jì)算與實(shí)體周圍上下文的距離嚼鹉。通過將問題q中每個(gè)字到對(duì)齊的答案d的最近的字的距離計(jì)算得分。這里對(duì)齊定義為既可以是直接匹配單詞或者通過共參照系來對(duì)齊驱富。論文通過在校驗(yàn)數(shù)據(jù)集上的每個(gè)單詞的最大懲罰來調(diào)優(yōu)锚赤。
? ? ? ? 到這里，論文是在解釋如何解析文本褐鸥。下面真正模型化的是神經(jīng)網(wǎng)絡(luò)线脚。如同論文里面論述的，神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛的應(yīng)用于NLP叫榕。文獻(xiàn)【15】和【16】已經(jīng)提及了這方面的工作浑侥，包括文獻(xiàn)【17】提到的通用的翻譯模型。論文設(shè)定的神經(jīng)網(wǎng)絡(luò)模型是用來估計(jì)在文檔d中回答問題q的單詞類型a的概率晰绎，公式如下：
? ? ? ? 這里V是詞典寓落，W（a）是第a行的權(quán)重矩陣W，單詞類型a被重用為索引荞下。注意到伶选，論文并不標(biāo)明實(shí)體和變量史飞，模型需要學(xué)習(xí)從輸入序列中區(qū)分它們。函數(shù)g（d考蕾，g）是返回文檔和問題元組的一個(gè)向量嵌入祸憋。如文獻(xiàn)【17】的研究所示，文獻(xiàn)【18】研究的LSTM被認(rèn)為可以用來作為語言翻譯和語言建模的工具肖卧。在用于翻譯的時(shí)候蚯窥，根據(jù)文獻(xiàn)【19】，深度LSTM能夠把長(zhǎng)文本序列嵌入到一個(gè)向量表示塞帐，這個(gè)向量表示包含足夠信息生成另一種語言的完整翻譯拦赠。本文會(huì)一個(gè)單詞一個(gè)單詞的喂給深度LSTM編碼器，然后在分隔符后葵姥，將問題喂給編碼器荷鼠。相似的，他們還嘗試了先把問題喂給編碼器榔幸，然后再喂文檔允乐。這樣，編碼器是把文檔-問題組當(dāng)作一個(gè)完整的單一長(zhǎng)序列來處理削咆。對(duì)于給定嵌入文檔和問題組牍疏，網(wǎng)絡(luò)會(huì)推斷文檔里面的哪一個(gè)標(biāo)記是問題的答案。
? ? ? ? 這個(gè)過程看似簡(jiǎn)單拨齐，實(shí)際上包含了很復(fù)雜的深度LSTM神經(jīng)元計(jì)算鳞陨，從輸入層到隱藏層，再到輸出層瞻惋，詳細(xì)的公式如下圖：
? ? ? ? 這里厦滤，x（t）是輸入，y（t）是輸出歼狼。||是向量拼接算子掏导，h（t，k）是在時(shí)間t時(shí)候第k隱藏層上的隱藏態(tài)羽峰，i趟咆，f，o代表著相應(yīng)的輸出限寞，遺忘和輸出門忍啸。因此，這個(gè)深度LSTM編碼器就是g（d履植，g）=y（|d| + |q|）计雌，也就是在輸入x（t）下，d和q的拼接玫霎。
? ? ? ? 深度LSTM為了能夠把問題和答案連接起來凿滤，需要在長(zhǎng)距離上傳遞依賴妈橄。而固定寬度的隱藏向量形成這個(gè)信息流的瓶頸。論文使用文獻(xiàn)【6翁脆，7】的研究成果來克服這個(gè)問題眷蚓，即引入注意力機(jī)制。按照文獻(xiàn)【19】的研究反番，注意力模型首先使用單獨(dú)的雙向單層LSTM來對(duì)文檔-問題進(jìn)行編碼沙热。一個(gè)長(zhǎng)度為|q|的問題的編碼u可以看成是一個(gè)最后前向傳播向量和一個(gè)反向傳播輸出向量的拼接。這樣就可以對(duì)于在位置t的每一個(gè)標(biāo)記輸出進(jìn)行計(jì)算罢缸。一個(gè)文檔d的表征r可以看成是它所有輸出向量帶權(quán)重的和篙贸。這些權(quán)重可以解釋成當(dāng)回答一個(gè)問題時(shí)候，導(dǎo)向某一特定標(biāo)記的引導(dǎo)枫疆。具體公式如下：
? ? ? ? 這里yd是文檔中標(biāo)記t集合表征作為其每一列的矩陣爵川。變量s（t）是在標(biāo)記t的正規(guī)化的注意力。對(duì)于給定注意分值息楔，文檔r的嵌入可以用標(biāo)記嵌入的權(quán)重求和來表示寝贡。這個(gè)模型通過一個(gè)非線性組合器聯(lián)合文檔和問題嵌入來定義如下：
? ? ? ? 注意力編碼器可以看成是回答問題的內(nèi)存網(wǎng)絡(luò)應(yīng)用生成器。模型在使用詞袋模型句子層面上使用注意力機(jī)制值依。而注意力編碼器在標(biāo)記層面上使用精細(xì)注意力機(jī)制圃泡，這里的標(biāo)記是給定他們?cè)谳斎胛臋n過去和未來上下文的詞嵌入。注意力編碼器可以聚焦到從問題到答案的路徑鳞滨。我們可以在問題標(biāo)記被輸入的時(shí)候洞焙，讓模型可以重新讀入文檔蟆淀。對(duì)于每一個(gè)問題q的標(biāo)記i拯啦，模型計(jì)算雙向詞嵌入的文檔向量r（i）。具體公式如下：
? ? ? ? 這種允許重載文檔標(biāo)記熔任，并且累計(jì)信息來推斷答案的方法褒链，稱之為無耐心編碼器。
? ? ? ? 這個(gè)論文描述了一些模型疑苔，接下來在他們的閱讀理解語料庫中評(píng)估這些模型甫匹。論文假設(shè)是神經(jīng)模型原則上應(yīng)該很適合這個(gè)任務(wù)。然而惦费，他們承認(rèn)簡(jiǎn)單的復(fù)現(xiàn)模型如LSTM可能沒有足夠的表達(dá)力來解決需要復(fù)雜推理的任務(wù)兵迅。所以，他們期望基于注意的模型將優(yōu)于純基于LSTM的方法薪贫。
? ? ? ? 考慮到調(diào)查的第二個(gè)維度恍箭，傳統(tǒng)與神經(jīng)方法之間的比較，沒有強(qiáng)烈的先前傾向于神經(jīng)網(wǎng)絡(luò)瞧省。雖然在過去幾年的許多出版物已經(jīng)證明神經(jīng)模型勝過經(jīng)典方法扯夭，仍然不清楚其中有多少是語言建模能力的固有的問題鳍贾，多少事任何神經(jīng)模型的作用。這里呈現(xiàn)的任務(wù)的實(shí)體匿名化和置換方面可以在這方面最終平衡游戲場(chǎng)交洗，有利于能夠處理語法而不僅僅是語義的模型骑科。
? ? ? ? 考慮到這些考慮，實(shí)驗(yàn)部分設(shè)計(jì)有三個(gè)目標(biāo)构拳。首先咆爽，要通過應(yīng)用廣泛的模型來確定機(jī)器閱讀任務(wù)的難度。第二置森，比較基于解析的方法與神經(jīng)模型的性能伍掀。第三，在檢查的神經(jīng)模型組中暇藏，想要確定每個(gè)組件對(duì)最終性能的貢獻(xiàn);也就是說蜜笤，想要分析LSTM可以解決這個(gè)任務(wù)的程度，以及各種關(guān)注機(jī)制在多大程度上影響性能盐碱。
? ? ? ? 所有模型的超參數(shù)都在兩個(gè)語料庫的相應(yīng)驗(yàn)證集上進(jìn)行調(diào)整把兔。實(shí)驗(yàn)結(jié)果在下表中，注意力和無耐心編碼器在兩個(gè)數(shù)據(jù)集中表現(xiàn)最好瓮顽。
? ? ? ? 訓(xùn)練機(jī)器閱讀和理解模型的監(jiān)督范式為建立完整的自然語言理解系統(tǒng)的路徑提供了一個(gè)有前途的途徑县好。本文已經(jīng)證明了一種用于獲得大量文檔 - 問題 - 答案三元組的方法，并且示出了基于循環(huán)和注意力的神經(jīng)網(wǎng)絡(luò)為該任務(wù)提供有效的建呐欤框架缕贡。分析表明，注意力和無耐心的編碼器能夠傳播和集成遠(yuǎn)距離的語義信息拣播。特別是晾咪，我們認(rèn)為納入注意機(jī)制是這些結(jié)果的關(guān)鍵貢獻(xiàn)者。
? ? ? ? 我們使用的注意機(jī)制只是一個(gè)非常一般的想法的一個(gè)實(shí)例贮配，可以進(jìn)一步利用谍倦。然而，并入世界知識(shí)和多文檔查詢也將需要注意和嵌入機(jī)制的發(fā)展泪勒，其查詢的復(fù)雜性不與數(shù)據(jù)集大小線性地縮放昼蛀。仍然有許多查詢需要復(fù)雜的推理和長(zhǎng)距離參考分辨率，我們的模型還不能回答圆存。因此叼旋，我們的數(shù)據(jù)提供了一個(gè)可擴(kuò)展的挑戰(zhàn)，應(yīng)該支持NLP對(duì)未來的研究沦辙。此外夫植，使用我們描述的技術(shù)可以獲得顯著更大的訓(xùn)練數(shù)據(jù)集，無疑允許我們訓(xùn)練更多的表達(dá)和準(zhǔn)確的模型怕轿。
? ? ? ? 這篇文章比較難懂偷崩，涉及到的模型都是比較新的模型辟拷，因此在閱讀的時(shí)候需要把相關(guān)論文也要拿來讀，因此花費(fèi)的時(shí)候相對(duì)就長(zhǎng)很多阐斜。
看完文章衫冻，我們更關(guān)注的是代碼實(shí)現(xiàn)，這是投入實(shí)戰(zhàn)的關(guān)鍵谒出。代碼的實(shí)現(xiàn)隅俘，我會(huì)另外單獨(dú)寫一篇。
