神經(jīng)圖靈機(jī)

【總述】本文通過將神經(jīng)網(wǎng)絡(luò)與外部存儲(chǔ)資源結(jié)合起來構(gòu)建神經(jīng)圖靈機(jī)卿捎，來擴(kuò)展神經(jīng)網(wǎng)絡(luò)的功能。通過對復(fù)制致扯、排序邢享、聯(lián)想等算法的實(shí)驗(yàn)表明神經(jīng)圖靈機(jī)可以從輸入輸出示例中推出簡單算法姑子。

1纬傲、【遞歸神經(jīng)網(wǎng)絡(luò)】

遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent neural networks换帜，RNNs）能夠在較長的時(shí)間內(nèi)學(xué)習(xí)和執(zhí)行復(fù)雜的數(shù)據(jù)轉(zhuǎn)換藏雏，且具有模擬任意程序的能力数初。RNNs的狀態(tài)既取決于系統(tǒng)的輸入又取決于當(dāng)前狀態(tài)找爱，具有更豐富的存儲(chǔ)和計(jì)算能力。理想的遞歸是x（t + 1）= x（t）+ i（t）泡孩，其中i（t）是系統(tǒng)的輸入车摄。

2、【神經(jīng)圖靈機(jī)】

為了簡化RNNs算法仑鸥，本文擴(kuò)充了遞歸網(wǎng)絡(luò)形成“神經(jīng)圖靈機(jī)”（Neural Turing Machines吮播，NTM），其通過大型的眼俊、可尋址的存儲(chǔ)進(jìn)行意狠，使用注意過程選擇性地讀取和寫入內(nèi)存，為學(xué)習(xí)程序提供一種實(shí)用機(jī)制疮胖。NTM架構(gòu)包含兩個(gè)組件：神經(jīng)網(wǎng)絡(luò)控制器（neural network controller）和存儲(chǔ)庫（memory bank）环戈。

【圖1】神經(jīng)圖靈機(jī)架構(gòu)』窳校控制器通過輸入和輸出向量與外部進(jìn)行交互谷市，使用選擇性讀取和寫入操作與存儲(chǔ)進(jìn)行交互蛔垢。虛線表示NTM與外界之間的劃分击孩。

研究者們將網(wǎng)絡(luò)輸出稱為“頭heads”，還定義了“模糊blurry”讀寫操作鹏漆。模糊操作與內(nèi)存中的所有元素或多或少地相互作用巩梢。模糊程度由注意力“聚焦”機(jī)制確定，該機(jī)制限制讀取和寫入操作與存儲(chǔ)器的一小部分交互艺玲。每個(gè)讀寫磁頭都有一個(gè)權(quán)重括蝠，定義了磁頭在每個(gè)位置的讀寫程度。

【尋址機(jī)制】

讀寫權(quán)重是通過將兩種尋址機(jī)制結(jié)合在一起產(chǎn)生的饭聚。一種是“基于內(nèi)容的尋址content-based addressing”忌警，基于位置值和控制器發(fā)出值之間的相似性，將注意力集中在位置上秒梳。另一種為“基于位置的尋址location-based addressing”法绵，通過位置來尋址。

【控制器網(wǎng)絡(luò)】

NTM最重要的參數(shù)是用作控制器的神經(jīng)網(wǎng)絡(luò)類型是遞歸網(wǎng)絡(luò)還是前饋網(wǎng)絡(luò)（feedforward network）酪碘。前饋控制器可以通過在每個(gè)步驟中在相同位置進(jìn)行讀寫來模仿遞歸網(wǎng)絡(luò)朋譬，其局限在于并發(fā)讀和寫磁頭的數(shù)量對NTM執(zhí)行的計(jì)算類型造成了瓶頸，而遞歸控制器有自己的內(nèi)部存儲(chǔ)器兴垦，不受此限制徙赢。

3字柠、【實(shí)驗(yàn)】

對簡單算法任務(wù)的初步實(shí)驗(yàn)。均有三種條件：具有前饋控制器的NTM狡赐、具有LSTM控制器的NTM和標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)窑业。

LSTM：遞歸網(wǎng)絡(luò)的一項(xiàng)關(guān)鍵創(chuàng)新是長的短期記憶（Long Short-Term Memory）。LSTM在網(wǎng)絡(luò)中嵌入了用于內(nèi)存存儲(chǔ)的完美集成器阴汇。

【復(fù)制】

復(fù)制任務(wù)測試NTM是否可以存儲(chǔ)和調(diào)用長序列的任意信息数冬、是否有更長的時(shí)間延遲。訓(xùn)練網(wǎng)絡(luò)復(fù)制8位隨機(jī)向量的序列搀庶，序列長度在1到20之間隨機(jī)拐纱。

【圖2】復(fù)制學(xué)習(xí)曲線。NTM比單獨(dú)使用LSTM快得多哥倔。

【圖3】 復(fù)制任務(wù)的NTM結(jié)果秸架。上邊兩行描述了長度為10,20,30和50的測試序列的網(wǎng)絡(luò)輸出和對應(yīng)目標(biāo)，下面兩行是長度為120的序列咆蒿《ǎ可以發(fā)現(xiàn)前四個(gè)序列的復(fù)制具有很高的可信度和很少的錯(cuò)誤，但120序列出現(xiàn)很大錯(cuò)誤沃测。

【圖4】復(fù)制任務(wù)的LSTM結(jié)果缭黔，與圖4順序相同。LSTM幾乎完美地再現(xiàn)了20的序列蒂破，但在更長的序列中表現(xiàn)差馏谨。

【圖5】使用NTM存儲(chǔ)的復(fù)制任務(wù)。左圖描述了在復(fù)制任務(wù)的單個(gè)測試序列中網(wǎng)絡(luò)的輸入（上邊）附迷、添加到內(nèi)存的向量（中間）和相應(yīng)的寫入權(quán)重（下邊）惧互。右圖顯示了網(wǎng)絡(luò)的輸出、從內(nèi)存讀取的向量和讀取的權(quán)重喇伯。所有權(quán)重都集中在內(nèi)存中的單個(gè)位置上（黑色表示權(quán)重為零喊儡，白色表示權(quán)重為1）。觀察到讀取位置與寫入位置完全匹配稻据，并且讀取向量與加法向量匹配艾猜。表明網(wǎng)絡(luò)在輸入階段將每個(gè)輸入向量依次寫入特定的存儲(chǔ)位置，然后在輸出階段從相同的位置序列進(jìn)行讀取捻悯。

分析表明匆赃，NTM已經(jīng)學(xué)會(huì)結(jié)合了基于內(nèi)容和位置的尋址的復(fù)制算法。

【重復(fù)復(fù)制】

重復(fù)復(fù)制任務(wù)要求網(wǎng)絡(luò)將復(fù)制的序列輸出指定的次數(shù)秋度，然后發(fā)出序列結(jié)束標(biāo)記炸庞。看NTM是否可以學(xué)習(xí)簡單的嵌套函數(shù)。網(wǎng)絡(luò)接收隨機(jī)二進(jìn)制矢量的隨機(jī)長度序列荚斯。后跟一個(gè)標(biāo)量值埠居，該值指示所需的次數(shù)查牌，出現(xiàn)在單獨(dú)的輸入通道上。網(wǎng)絡(luò)可以重現(xiàn)8個(gè)隨機(jī)二元向量的序列滥壕，序列長度和重復(fù)次數(shù)都是從1到10隨機(jī)纸颜。

【圖6】重復(fù)復(fù)制學(xué)習(xí)曲線。二者都能完美地解決任務(wù)绎橘，但NTM的學(xué)習(xí)比LSTM快得多胁孙。

【圖7】重復(fù)復(fù)制任務(wù)的NTM和LSTM。NTM幾乎可以完美地?cái)U(kuò)展到更長的序列称鳞，但無法預(yù)測序列何時(shí)結(jié)束涮较。LSTM顯然更差。

【圖8】使用NTM存儲(chǔ)的重復(fù)復(fù)制任務(wù)冈止。表明NTM在上一節(jié)中學(xué)習(xí)了復(fù)制算法的簡單擴(kuò)展狂票。

【聯(lián)想】

先前的任務(wù)表明NTM可以將算法應(yīng)用于相對簡單的線性數(shù)據(jù)結(jié)構(gòu)。本階段測試NTM學(xué)習(xí)類的實(shí)例的能力熙暴，以便對其中一個(gè)項(xiàng)目進(jìn)行查詢要求網(wǎng)絡(luò)返回下一個(gè)項(xiàng)目闺属。每個(gè)項(xiàng)目都由三個(gè)六位二進(jìn)制矢量組成（每個(gè)項(xiàng)目總共18位）。訓(xùn)練期間周霉，在單集中至少使用了2個(gè)項(xiàng)目掂器，最多使用了6個(gè)項(xiàng)目。

【圖9】NTM和LSTM的聯(lián)想學(xué)習(xí)曲線俱箱。NTM的學(xué)習(xí)任務(wù)比LSTM快得多国瓮。此外，具有前饋控制器的NTM學(xué)習(xí)速度比具有LSTM控制器的NTM學(xué)習(xí)速度快匠楚。表明NTM的外部存儲(chǔ)器是一種比LSTM的內(nèi)部狀態(tài)更有效的數(shù)據(jù)結(jié)構(gòu)維護(hù)方法巍膘。

【圖10】使用NTM存儲(chǔ)的聯(lián)想任務(wù)厂财。在“輸入”中芋簿，一系列項(xiàng)目被傳播到控制器。綠色框?yàn)椴樵冺?xiàng)璃饱，紅色框?yàn)榫W(wǎng)絡(luò)目標(biāo)的后續(xù)項(xiàng)与斤。在“輸出”中，我們看到網(wǎng)絡(luò)正確地生成了目標(biāo)項(xiàng)荚恶。讀取和寫入權(quán)重中的紅色框突出顯示了寫入和讀取目標(biāo)項(xiàng)目的位置撩穿。網(wǎng)絡(luò)的解決方案是對可以存儲(chǔ)在單個(gè)位置的每個(gè)項(xiàng)目形成一個(gè)壓縮的表示形式（“添加”中的黑框）。這意味著內(nèi)存訪問算法：當(dāng)顯示每個(gè)項(xiàng)目定界符時(shí)谒撼，控制器將寫入該項(xiàng)的目前三個(gè)時(shí)間片壓縮表示食寡。查詢到達(dá)后，控制器將重新計(jì)算查詢項(xiàng)目的相同壓縮表示形式廓潜，使用基于內(nèi)容的尋址來找寫入第一個(gè)表示形式的位置抵皱，然后再移位一個(gè)以生成序列中的后續(xù)項(xiàng)目善榛。【Dynamic N-Grams】動(dòng)態(tài)N-Grams任務(wù)的目標(biāo)是測試NTM是否可以快速適應(yīng)新的預(yù)測分布呻畸。

【圖11】動(dòng)態(tài)N-Gram學(xué)習(xí)曲線移盆。與LSTM相比，NTM具有顯著的性能優(yōu)勢伤为，但收斂未達(dá)到最佳咒循。

【圖12】動(dòng)態(tài)N-Gram推理。最上行顯示了來自N-Gram任務(wù)的測試序列绞愚，下面的行顯示了最佳估算叙甸、NTM和LSTM的相應(yīng)預(yù)測分布。在大多數(shù)地方位衩，NTM預(yù)測與最佳預(yù)測幾乎沒有區(qū)別蚁署，但也會(huì)犯錯(cuò)誤（紅箭頭）。LSTM在某些地方緊隨最佳預(yù)測蚂四，但隨著序列的進(jìn)行而趨于分散光戈。

【圖13】使用NTM內(nèi)存的動(dòng)態(tài)N-Gram任務(wù)。紅綠箭頭指示在測試序列期間重復(fù)觀察到相同上下文的點(diǎn)遂赠。在每個(gè)這樣的點(diǎn)久妆，讀取頭都訪問同一位置，然后在下一個(gè)時(shí)間上跷睦，寫入頭就訪問同一位置筷弦。加法向量在輸入為1或0的地方是反相關(guān)的，表明分布是“計(jì)數(shù)器”抑诸。表明控制器使用內(nèi)存來計(jì)數(shù)在不同上下文中觀察到的1和0烂琴，從而可以實(shí)現(xiàn)類似于最佳估計(jì)器的算法。

【優(yōu)先排序】

此任務(wù)測試NTM是否可以對數(shù)據(jù)進(jìn)行排序蜕乡。一系列隨機(jī)二進(jìn)制向量與每個(gè)向量的標(biāo)量優(yōu)先級等級一起輸入到網(wǎng)絡(luò)奸绷。優(yōu)先級從[-1，1]范圍中得出层玲。目標(biāo)序列包含根據(jù)其優(yōu)先級排序的二進(jìn)制向量号醉，如圖14。

【圖14】優(yōu)先排序任務(wù)的示例輸入和目標(biāo)序列辛块。

對觀察到的寫入位置擬合了優(yōu)先級的線性函數(shù)畔派。

【圖15】使用NTM內(nèi)存的優(yōu)先排序任務(wù)。左：通過將優(yōu)先級的線性函數(shù)擬合到觀察到的寫入位置來返回寫入位置润绵。中：觀察到的寫入位置线椰。右：讀取位置。顯示線性函數(shù)返回的位置與觀察到的寫入位置非常匹配尘盼。

【圖16】優(yōu)先排序?qū)W習(xí)曲線憨愉。同時(shí)具有前饋和LSTM控制器的NTM在此任務(wù)上的性能明顯優(yōu)于LSTM呜魄。

4、【結(jié)論】

本文引入了神經(jīng)圖靈機(jī)莱衩，實(shí)驗(yàn)表明它能從示例數(shù)據(jù)中學(xué)習(xí)簡單的算法爵嗅。