Neil Zhu，簡書ID Not_GOD，University AI 創(chuàng)始人 & Chief Scientist腺办，致力于推進世界人工智能化進程焰手。制定并實施 UAI 中長期增長戰(zhàn)略和目標，帶領(lǐng)團隊快速成長為人工智能領(lǐng)域最專業(yè)的力量怀喉。
作為行業(yè)領(lǐng)導者书妻，他和UAI一起在2014年創(chuàng)建了TASA（中國最早的人工智能社團）, DL Center（深度學習知識中心全球價值網(wǎng)絡(luò)），AI growth（行業(yè)智庫培訓）等躬拢，為中國的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分躲履。此外，他還參與或者舉辦過各類國際性的人工智能峰會和活動聊闯，產(chǎn)生了巨大的影響力崇呵，書寫了60萬字的人工智能精品技術(shù)內(nèi)容，生產(chǎn)翻譯了全球第一本深度學習入門書《神經(jīng)網(wǎng)絡(luò)與深度學習》馅袁，生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號和媒體轉(zhuǎn)載與連載域慷。曾經(jīng)受邀為國內(nèi)頂尖大學制定人工智能學習規(guī)劃和教授人工智能前沿課程，均受學生和老師好評汗销。
考慮輸入序列或者圖像
考慮上層表示犹褒，這一層可以選擇<看哪兒>，通過賦值一個權(quán)重或者概率給每個輸入位置弛针，正如一個 MLP 產(chǎn)生輸出那樣叠骑，應用在每個位置上：
上圖
問題：使用 RNN 來學習選擇性的注意力怎么樣？你覺得在這個領(lǐng)域什么是最有潛力的方法削茁？
Juergen Schmidhuber 回答說：我認為這是一個非常有趣的話題宙枷。人類和其他生物系統(tǒng)使用順序的凝視移動來檢測和識別模式。這個可以變得比全并行的模式識別方法更加高效茧跋。據(jù)我所知慰丛，25年錢，我們已經(jīng)用了一個使用強化學習訓練出來的神經(jīng)網(wǎng)絡(luò)來順序地注意一幅輸入圖像的相關(guān)區(qū)域瘾杭，并使用了適應性的注意力機制來確定關(guān)注哪些地方诅病。這個系統(tǒng)使用了一個 RNN 方法在fovea saccades or “glimpses” [1][2] 上來學習目標輸入（這些只是玩具例子——那個時候的計算能力要比現(xiàn)在弱百萬倍）。我們持續(xù)研究了這個方法粥烁。例如贤笆，最近 Marijn Stollenga 和 Jonathan Masci 實現(xiàn)了一個包含反向鏈接的 CNN 學習來控制一個內(nèi)部的注意力點。Univ. Toronto 和 DeepMind 同樣也在基于注意力的神經(jīng)網(wǎng)絡(luò)[4,5]上發(fā)表了文章讨阻。當然芥永，RL RNN 在部分可觀測的場景中使用了原始的高維視覺輸入流學習了視覺注意力作為副產(chǎn)品。[6] 我偏愛 [6] 中觀點的通用性钝吮，我們在未來應該可以看到這方面更多的推廣埋涧。
參考文獻：
[1] J. Schmidhuber and R. Huber. Learning to generate focus trajectories for attentive vision. TR FKI-128-90, TUM, 1990. Images: http://people.idsia.ch/~juergen/attentive.html
[2] J. Schmidhuber and R. Huber. Learning to generate artificial fovea trajectories for target detection. International Journal of Neural Systems, 2(1 & 2):135-141, 1991
[3] M. Stollenga, J. Masci, F. Gomez, J. Schmidhuber. Deep Networks with Internal Selective Attention through Feedback Connections. NIPS 2014
[4] V. Mnih, N. Heess, A. Graves, K. Kavukcuoglu. Recurrent Models of Visual Attention. NIPS 2014.
[5] H. Larochelle and G. Hinton. Learning to combine foveal glimpses with a third-order Boltzmann machine. NIPS 2010.
[6] J. Koutnik, G. Cuccu, J. Schmidhuber, F. Gomez. Evolving Large-Scale Neural Networks for Vision-Based Reinforcement Learning. In Proc. GECCO, Amsterdam, July 2013.http://people.idsia.ch/~juergen/compressednetworksearch.html
問題：你有關(guān)于 LSTM 發(fā)展方向的想法么贴唇，使用這種模型進行的推斷又是怎么樣的？你對 NTM 和 MN 怎么看飞袋？
Juergen Schmidhuber 回答說戳气，很高興能夠看到非標準可微的 LSTM 方法的復興，諸如神經(jīng)圖靈機和記憶網(wǎng)絡(luò)巧鸭。在 1990s 和 2000s瓶您，有很多相關(guān)的工作。例如：
對 alternative 記憶網(wǎng)絡(luò)（神經(jīng)棧式機器）的可微的 push 和 pop 動作纲仍，這些機器也是通用機器呀袱，至少在理論上是：
- S. Das, C.L. Giles, G.Z. Sun, "Learning Context Free Grammars: Limitations of a Recurrent Neural Network with an External Stack Memory," Proc. 14th Annual Conf. of the Cog. Sci. Soc., p. 79, 1992.
- Mozer, M. C., & Das, S. (1993). A connectionist symbol manipulator that discovers the structure of context-free languages. NIPS 5 (pp. 863-870).
記憶機器，其中控制網(wǎng)絡(luò)的外部可微存儲器存在于另一個網(wǎng)絡(luò)的快速權(quán)重中：
- J. Schmidhuber. Learning to control fast-weight memories: An alternative to recurrent nets. Neural Computation, 4(1):131-139, 1992
LSTM 忘記門則與這些工作相關(guān)：
- F. Gers, N. Schraudolph, J. Schmidhuber. Learning precise timing with LSTM recurrent networks. JMLR 3:115-143, 2002.
帶有特定輸出單元用來 addressing 和以可微的方式快速處理每個 RNN 自身的權(quán)重的自指式 RNN （所以這樣的外部存儲實際上是內(nèi)部的）：
- J. Schmidhuber. An introspective network that can learn to run its own weight change algorithm. In Proc. of the Intl. Conf. on Artificial Neural Networks, Brighton, pages 191-195. IEE, 1993.
相關(guān)的基于 LSTM RNN 的系統(tǒng)實際上在實踐中學到了一種學習算法：
- Hochreiter, Sepp; Younger, A. Steven; Conwell, Peter R. (2001). "Learning to Learn Using Gradient Descent". ICANN 2001, 2130: 87–94.
